拾春华 让思绪飞扬

滴水石穿 海纳百川

作为年轻的研发工程师的一点思考

1、年轻的技术人员有几样东西很重要 1)工程能力(如果可以的话,往上走,架构能力) 2)数据结构和算法能力(如果可以,可以往纵深的算法方向走) 以上两点基于一个认知,就是无论你是大数据研发、后端研发、算法工程师或者其他的,工程能力和算法能力是核心,是最经久不衰,具有持久生命力的。风口可能会换...

2018-12-20 14:35:38

阅读数 121

评论数 0

hive系列-2.hive自带的三种排序UDF

Hive自带的几种rank函数 综述 1.ROW_NUMBER() => 用于纯数据排序,相同值取 //全局唯一排序 2.DENSE_RANK() =>常搭配PARTITION BY x ORDER BY y用于分组取(唯一)数据 //连续排序 3.RANK...

2019-06-05 11:26:45

阅读数 35

评论数 0

python系列-1.json dumps的字符串多出空格处理

现象或者问题 (json.dumps(dict)的结果,分割符号逗号、分号后面有空格字符) 原理 python的json库dumps函数默认分隔符后面都有一个空格 解决方法 json.dumps(dict,separators=(':',',')) ...

2019-05-28 16:19:43

阅读数 54

评论数 0

hive系列-1.hive里踩的坑

新增字段&跑历史分区 1、现象 hive(笔者使用的hive版本为1.1.0)表新增加列,重跑历史分区数据,发现新增的列在老分区中取值都为NULL。如下示例 1)初始化表 //init table drop table if exists tmp.test; create...

2019-05-10 11:45:43

阅读数 78

评论数 0

《设计模式》:Chapter1 引言

1、设计模式的核心思想 复用久经考验的前人处理某类问题的解决方案。 2、设计模式四要素 模式名称+问题+解决方案+效果 举例:观察者模式+MVC架构将视图和模型分离设计+采用观察者模式使得视图的改变能影响模型对象,而这个对象并不需要知道那些被影响对象的细节+对象分离,提高系统灵活性和复用性...

2019-02-27 20:34:19

阅读数 42

评论数 0

leetcode: 1.两数之和

1、问题 给定一个整数数组和一个目标值,找出数组中和为目标值的两个数。 你可以假设每个输入只对应一种答案,且同样的元素不能被重复利用。 示例: 给定 nums = [2, 7, 11, 15], target = 9 因为 nums[0] + nums[1] = 2 + 7 = 9 所...

2018-10-11 20:45:00

阅读数 107

评论数 0

CSAPP:Chapter1.6~Chapter1.7

目录   1.6 Storage Devices Form a hierarchy 1.7 The Operating System Manages the Hardware 1)os’s two primary purposes 2)Three main fundamental abs...

2018-10-11 01:51:22

阅读数 145

评论数 0

CSAPP:Chapter1.5

1.5 Caches Matter 1)Physical laws Larger storage devices are slower than smaller storage devices. Faster devices are more expensive to build than ...

2018-10-10 01:01:24

阅读数 85

评论数 0

CSAPP: Chapter1.3~Chapter1.4

1.3 It Pays to Understand How compilation System Work 1)Reasons for why programmers need to understand how compilation systems work Optimizing prog...

2018-10-10 00:15:15

阅读数 54

评论数 0

Mysql的数据存储不区分大小写

目录 1 Mysql存储不区分大小写带来的影响举例 2 解决方案 2.1 建表时区分大小写 2.1 建完表后,ALTER修改表字段区分大小写 1 Mysql存储不区分大小写带来的影响举例 1)hive里存储的字段是区分大小写的   2)mysql里存储,默认是不区分大小写的 ...

2018-10-08 23:51:59

阅读数 970

评论数 0

A Plan of Reading and Learning CSAPP(COMPUTER SCIENCE: A PROGRMMER'S PERSPECTIVE)

      我是一个计算机从业人员和爱好者。大学毕业以后,繁忙的工作依然没能阻挡自己对计算机科学,对programming、新技术(ML/DL/DM,当然实际上并不是真的新技术)等的热爱。经过好朋友推荐,第一次看到CSAPP这本书的时候,就有了“征服”她的冲动,无奈由于各种原因一直未能如愿,一年过...

2018-10-08 00:25:32

阅读数 130

评论数 0

CSAPP: Chapter1.1~Chapter1.2

In a sense, the goal of this book is to help you understand what happens and why when you run hello on your system. //The hello.c file. #include &a...

2018-10-07 23:58:55

阅读数 55

评论数 0

Github resources about MachineLearning,DeepLearning and relevant Interviews

声明:非利益相关,Git仓内资源非博主原创,来自github大佬,纯粹广而告之,侵删! 1、内容截图 2、Github地址 直达:Github地址 地址:https://github.com/imhuay/Algorithm_Interview_Notes-Chinese...

2018-10-07 00:37:16

阅读数 70

评论数 0

shell系列-4.Linux的echo和Macos的printf

想要实现的目标:在shell中输出换行等需要转义的字符。 1.Linux实现方式 $ echo -e "\n"  或者 printf  "\n" 2.Macos $ printf  "\n&q...

2018-10-03 23:41:37

阅读数 97

评论数 0

shell系列-3.批量并行运行脚本

1、需求 实现根据输入的起始时间和结束时间,以及设置并行度,来批量跑shell脚本。(前提是您的脚本是可以并行多进程的。) 2、脚本 RunHistoryByDateMultithread.sh git repo github地址:https://github.com/hewin/she...

2018-10-03 23:33:35

阅读数 277

评论数 0

sqoop从myqsql导数据import到hdfs数据变ascii码解决方案

1、mysql数据导入到hdfssqoop import \--driver com.mysql.jdbc.Driver \--connect jdbc:mysql://host/database \--username xxx \--password xxx \--table mysqltabl...

2018-04-17 23:27:20

阅读数 119

评论数 0

yarn系列-2.在线修改application队列

1、举例yarn application  -movetoqueue  applicationid  -queue  queuename2、示例yarn application  -movetoqueue  application_1522207436635_13070  -queue  even...

2018-04-17 23:10:33

阅读数 880

评论数 0

sqoop系列-1.upsert

1、执行语句sqoop export \  --D mapred.job.queue.name=default \  --driver com.mysql.jdbc.Driver \  --connect jdbc:mysql://namenode/database \  --username x...

2018-04-10 11:58:29

阅读数 297

评论数 0

shell系列-2.后台运行任务几个常用命令

1.问题场景 在远程机上运行一些任务,或者夜晚后台运行一些任务的情况,经常会遇到网络波动或者超时断连 2.几个实用的工具 1)nohup和& 功能:会在后台执行./test.sh脚本(parameter1与parameter2都是可以传递给shell脚本的参数,也可以不...

2018-02-03 12:27:23

阅读数 333

评论数 0

yarn系列-1.yarn中查看jobs日志的两种方式

查看yarn日志的两种方式 1.界面版 1)点击application 2)输入即可 2.命令行版 yarn logs -applicationId application_1517538889175_2550 > logs.txt 通过vim进行查看...

2018-02-03 12:13:44

阅读数 10603

评论数 0

提示
确定要删除当前文章?
取消 删除