拾春华 让思绪飞扬

为什么写 写这篇博客文章目的，希望和大家一起探讨，互相借鉴经验，同时希望能給其他同学一些案例参考。大家有什么相关的经历或者问题可以留言，一起讨论，分享不同的观点，让每个人做出无悔的选择。大厂和小长更适合什么阶段的同学 大厂，因为资源、人力、以及行业地位的等聚集效应，做事成功率更高，做事也更有耐心一些，允许一定程度失败，因此能积累更多的经验、做事更专注探索更深，从而形成很好的基础，更适合...

Hive自带的几种rank函数综述1.ROW_NUMBER() => 用于纯数据排序，相同值取//全局唯一排序2.DENSE_RANK() =>常搭配PARTITION BY x ORDER BY y用于分组取（唯一）数据//连续排序3.RANK() =>//跳跃排序，重复几次排序跳几个具体样例初始化create table tmp.test_rank(id ...

现象或者问题（json.dumps(dict)的结果，分割符号逗号、分号后面有空格字符）原理python的json库dumps函数默认分隔符后面都有一个空格解决方法json.dumps(dict,separators=(':',','))...

新增字段&跑历史分区1、现象hive（笔者使用的hive版本为1.1.0）表新增加列，重跑历史分区数据，发现新增的列在老分区中取值都为NULL。如下示例1）初始化表//init tabledrop table if exists tmp.test;create table tmp.test( id string)partitioned by (dt stri...

1、设计模式的核心思想复用久经考验的前人处理某类问题的解决方案。2、设计模式四要素模式名称+问题+解决方案+效果举例：观察者模式+MVC架构将视图和模型分离设计+采用观察者模式使得视图的改变能影响模型对象，而这个对象并不需要知道那些被影响对象的细节+对象分离，提高系统灵活性和复用性。定义：是对备用来在特定场景下解决一般问题的类和相互通信的对象的描述。3、设计模式怎样解决设计...

1、年轻的技术人员有几样东西很重要1）工程能力（如果可以的话，往上走，架构能力）2）数据结构和算法能力（如果可以，可以往纵深的算法方向走）以上两点基于一个认知，就是无论你是大数据研发、后端研发、算法工程师或者其他的，工程能力和算法能力是核心，是最经久不衰，具有持久生命力的。风口可能会换，但是这些能在风口中存活下来或者能迅速转型的东西是不变的~ 2、不同年龄段的发展大致路径算...

1、问题给定一个整数数组和一个目标值，找出数组中和为目标值的两个数。你可以假设每个输入只对应一种答案，且同样的元素不能被重复利用。示例:给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9所以返回 [0, 1]2、两种代码（这里的O(n)时间复杂度解法，采用了空间换时间的方式）cl...

目录 1.6 Storage Devices Form a hierarchy1.7 The Operating System Manages the Hardware1)os’s two primary purposes2)Three main fundamental abstractions3)Processes1.6 Storage Devices Form a ...

1.5 Caches Matter1）Physical lawsLarger storage devices are slower than smaller storage devices.Faster devices are more expensive to build than their slower counterparts.  2)To deal with the pr...

1.3 It Pays to Understand How compilation System Work1)Reasons for why programmers need to understand how compilation systems workOptimizing program performance.Don’t need to know the inner work...

目录1 Mysql存储不区分大小写带来的影响举例2 解决方案2.1 建表时区分大小写2.1 建完表后，ALTER修改表字段区分大小写1 Mysql存储不区分大小写带来的影响举例1）hive里存储的字段是区分大小写的 2）mysql里存储，默认是不区分大小写的 3）当将hive表里存储在hdfs上的数据通过sqoop工具等灌到mysql里的时候就会出问...

      我是一个计算机从业人员和爱好者。大学毕业以后，繁忙的工作依然没能阻挡自己对计算机科学，对programming、新技术（ML/DL/DM，当然实际上并不是真的新技术）等的热爱。经过好朋友推荐，第一次看到CSAPP这本书的时候，就有了“征服”她的冲动，无奈由于各种原因一直未能如愿，一年过去了，看着厚厚的这一本，心中感慨万千。此书虽有1000多页，但一天3~5页，1年时间便可以浏览一遍，从...

In a sense, the goal of this book is to help you understand what happens and why when you run hello on your system.//The hello.c file.#include <stdio.h>int main(){ printf("hello, world\...

声明：非利益相关，Git仓内资源非博主原创，来自github大佬，纯粹广而告之，侵删！1、内容截图2、Github地址直达：Github地址地址：https://github.com/imhuay/Algorithm_Interview_Notes-Chinese...

想要实现的目标：在shell中输出换行等需要转义的字符。1.Linux实现方式$ echo -e "
"  或者 printf  "
"2.Macos$ printf  "
"

1、需求实现根据输入的起始时间和结束时间，以及设置并行度，来批量跑shell脚本。（前提是您的脚本是可以并行多进程的。）2、脚本RunHistoryByDateMultithread.shgit repogithub地址：https://github.com/hewin/shellacc ，欢迎关注，交流。3、用法：sh RunHistoryByDateMultith...

1、mysql数据导入到hdfssqoop import \--driver com.mysql.jdbc.Driver \--connect jdbc:mysql://host/database \--username xxx \--password xxx \--table mysqltable \--target-dir /user/test/ \--delete-target-dir \结...

1、举例yarn application  -movetoqueue  applicationid  -queue  queuename2、示例yarn application  -movetoqueue  application_1522207436635_13070  -queue  event 

1、执行语句sqoop export \  --D mapred.job.queue.name=default \  --driver com.mysql.jdbc.Driver \  --connect jdbc:mysql://namenode/database \  --username xx \  --password xx \  --table saas_fraud_account_de...

1.问题场景在远程机上运行一些任务，或者夜晚后台运行一些任务的情况，经常会遇到网络波动或者超时断连2.几个实用的工具1）nohup和&功能：会在后台执行./test.sh脚本（parameter1与parameter2都是可以传递给shell脚本的参数，也可以不传，看shell脚本本身），同时会在当前目录生成一个nohup.out文件，记录shell脚本运行日志>