2019年08月_sheep8521

原创 HIVE优化操作总结

hive数据倾斜优化策略1、Map端部分聚合（mapjoin）set hive.map.aggr=true 默认是true。例子：select gender,count(1) from user group by gender;适合场景：groupby_key是不散列，首先对map端进行汇总是有意义的。不适合场景：不是所有的聚合都需要这个优化。 groupby_key是用户ID...

2019-08-30 18:34:22 350

原创 python的实用开发工具jupyter和pycharm

一、Jupyter Notebook 的失败运行之前是安装了jupyter，直接启动之后运行代码，没有结果。后来知道是只是安装了jupyter ,没有安装notebook二、 Jupyter Notebook 的失败运行由于上面的安装缺失，下面重新介绍下安装过程。1、pip方式安装Jupyter（记得是分开安装2个）pip install jupyterpip install ...

2019-08-30 10:24:20 5098

原创 Python的使用总结

1、改变print自动换行template = "零一二三四五六七八九" s = input()for c in s: print(template[eval(c)], end="")print()中增加end=""参数表示输出后不增加换行，多个print()可以连续输出。2、产生循环遍历的方式tempStr 是字符串1）for …infor i in tempSt...

2019-08-29 19:50:30 915

原创 python的高级特性总结

Python高级特性使用总结：1、在Python中，函数的参数可以有默认值，也支持使用可变参数，所以Python并不需要像其他语言一样支持函数的重载,在参数名前面的*表示args是一个可变参数2、python里面的分片，针对list,tumple和numpy都适用slice(1, 3)相当于[1：3]list=[1,4,3,4,5]list[1:3]等效于list[slice(1,3)...

2019-08-23 10:37:43 172

原创网络工具系列之（一）MAC和window通过有线连接传输文件

MAC和window通过有线连接传输文件，以下是ssh命令行的方式。1、打开windows的命令行win+R 输入ipconfig找到对应的ip地址。2、在mac终端命令行上输入ifconfig之后两边双向ping 对方的ip,看能否ping 通。3、打开mac的远程登录1、首先，在苹果Mac电脑上的“系统偏好设置”窗口中打开“共享”功能，接着在共享窗口中的左侧点击启用“屏幕共享...

2019-08-22 11:43:58 6766

原创 vim的常用操作技巧

vim命令总结记得实操一遍加深记忆1.删除字符要删除一个字符，只需要将光标移到该字符上按下"x"。2.删除一行删除一整行内容使用"dd"命令。删除后下面的行会移上来填补空缺。3.删除换行符在Vim中你可以把两行合并为一行，也就是说两行之间的换行符被删除了：命令是"J"。4.撤销如果你误删了过多的内容。显然你可以再输入一遍，但是命令"u" 更简便，它可以撤消上一次的操作。5.重做...

2019-08-21 17:05:45 184

原创 Nodepad++的常用文本操作技巧

Notepad++相关的功能和技巧总结 DOWNLOAD Nodepad++1.Base64编解码编码：插件§ -> MIME Tools -> Base64 Encode解码：插件§ -> MIME Tools -> Base64 Decode详细操作步骤请参考：Notepad++插件Base64编解码2.HTML元字符转义TextFX -> ...

2019-08-21 16:36:45 1352

原创 python常用的模块

一、date在一个hive使用python脚本进行etl的代码中感受到了各个语言的相通性。对于使用python语言的小伙伴去做etl工程师也丝毫无压力。时间戳转成标准时间1、时间转换1）输出格式是yyyy-MM-dd HH:mm:ss datetime.datetime.fromtimestamp(float('某个时间戳'))2）输出格式是yyyyMMddHHmmss（yyyy...

2019-08-15 16:06:31 133

原创 Linux的实用命令（四）之替换sed命令和特殊字符处理

Linux中的特殊字符的处理1、windows和linux环境下的换行符号处理：Windows系统中有如下等价关系：用enter换行 <====> 程序写\n <====> 真正朝文件中写\r\n(0x0d0x0a) <====>程序真正读取的是\nlinux系统中的等价关系：用enter换行 <====> 程序写\n &l...

2019-08-15 14:01:29 12806

原创 Linux用到的大数据相关命令

5、大数据相关的命令1、hdfs文件down到本地hadoop dfs -getmerge hdfs_path/* nas_path/temp2、远程集群复制 distcp /跨机器复制 scp1)本来是远程复制的hadoop distcp 复制的地址1 复制目的地地址2因为两个集群都是有认证的，彼此不通所以方案一取消查看要复制的文件大小：hadoop dfs -du -s...

2019-08-15 10:41:52 889

sheep8521的博客