2018年05月_Jessica__WEI

原创 jupyter notebook调试流程

1.在每个模块化的Cell里编写代码，单步调试，反复论证；2.最终调通程序后，点击重置符号Restart kernel，按顺序最后过一遍程序，达到重新编号同时检验代码先后顺序的作用；3.最后把所有代码整理，作为最终的成果，也便于分享和展示。养成好习惯！该步骤也适用于其他程序调试...

2018-05-23 11:41:09 13801 3

原创 pandas 之 DataFrame筛选数据

import pandas as pdimport numpy as npdf = pd.DataFrame(np.random.randn(6, 4), columns=list('abcd'))df a b c d0 -0.026429 -1.957159 1.365762 0.7994371 -0.115957 1.38...

2018-05-17 19:50:03 12097

原创 PyCharm中Jupyter Notebook的使用

前提：已经按照好pycharm、anaconda方法一：1.在pycharm的文件夹上直接右键->New->Jupyter Notebook2.编写程序print('hello world!')3.点击Run Cell，会弹出提示http://localhost:8888/?token=4.在terminal或cmd中运行jupyter notebook或者jupyter notebo...

2018-05-17 13:20:59 5218 2

原创 Hive查看table在HDFS上的存储路径

1. 启动hive$ hive2. 查看table的相关信息hive>show databases;hive>use databasename;hive>show create table tablename; --查看table的存储路径hive>desc tablename; --查看table的表结构hive>show fu...

2018-05-17 11:20:58 6583

原创 Hive查询结果的几种保存方法

1. 保存到本地调用hive的标准输出，将查询结果写到指定的文件中hive -e "select user, login_timestamp from user_login" > /tmp/out.txt 或者$ hive -f file.sql > /tmp/out.txt $ cat file.sql select user, login_timestamp from ...

2018-05-16 18:19:47 8701 1

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。GROUP BY按照某些字段的值进行分组，有相同值放到一起SELECT col1 [,...

2018-05-16 17:27:48 6288

原创 git 之新建分支、删除分支、合并分支、同步分支、分支冲突

新建分支：git branch #查看本地所有分支git checkout -b <branch name> #新建分支删除分支：1. 删除本地分支：git branch #查看本地所有分支git branch -d &lt...

2018-05-16 13:24:57 406

原创 shell中各种括号()、(())、[]、[[]]、{}的作用和区别

$()和 ` ` 在 bash shell 中，$( ) 与` ` (反引号) 都可用做命令替换用。例如 version=$(uname -r)和version=`uname -r`都可以是version得到内核的版本号各自的优缺点：1. ` ` 基本上可用在全部的 unix shell 中使用，若写成 shell script ，其移植性比较高，但反单引号容易打错或看错。2. $()并不...

2018-05-16 10:43:01 36189 6

原创 shell 之 date

#date 获取当前时间#date -d "-1week" +%Y%m%d 获取上周日期（day,month,year,hour）#date--date="-24 hour" +%Y%m%d 同上date_now=`date+%s` shell脚本里面赋值给变量mkdir `date+%Y%m%d` 创建以当前时间为文件名tar cvf./htdocs`date +%Y%m%d`.tar ./* ...

2018-05-14 20:20:58 277

原创 shell 之 getopts

shell中getopts用于获取用户在命令下的参数，然后根据参数进行不同的执行。getopts配合case进行操作时有两个隐含变量：一个是OPTARG，用来取当前选项的值；另外一个是OPTIND，代表当前选项在参数列表中的位移，OPTIND是一个特殊的变量，它的初始值是1，每次getopts处理完一个命令参数后就递增它，得到getopts要处理的下一个参数。通过一个例子说明其使用方法：while...

2018-05-14 19:57:29 302

原创运行.sh文件提示‘\r’ command not found

基于 DOS/Windows 的文件在每一行末尾有一个 CR（回车）和 LF（换行），而 UNIX 文本只有一个换行,即win每行结尾为\r\n，而linux只有一个\n。如果win下的文档上传到linux，每行的结尾都会出现一个^M(^M是ctrl+v,ctrl+m) ，然后提示“‘\r’ command not found”。解决办法：如果是单个文档的话，可以用vim打开，执行 :%s/^M/...

2018-05-14 12:00:42 5778

原创 shell 之脚本变量和字符串截取

$$ Shell本身的PID（ProcessID） $! Shell最后运行的后台Process的PID $? 最后运行的命令的结束代码（返回值） $- 使用Set命令设定的Flag一览 $* 所有参数列表。如"$*"用「"」括起来的情况、以"$1 $2 … $n"的形式输出所有参数。 $@ 所有参数列表。如"$@"用「"」括起来的情况、以"$1" "$2"

2018-05-11 16:56:15 1782

原创 python2安装pydelicious API

进入cmdcd C:\python27\scripts\easy_install pydelicious 安装成功测试可在Python IDE环境下使用，但pycharm和jupyter下都不能用。。。

2018-05-11 15:43:06 262

原创 Vim常用快捷键总结

所有的命令都需要在Normal模式下使用，并且在Vim的Normal模式下，所有的键就是功能键.1.入门i → Insert 模式，按 ESC 回到 Normal 模式.x → 删当前光标所在的一个字符。:wq → 存盘 + 退出 (:w 存盘, :q 退出) （:w 后可以跟文件名）dd → 删除当前行，并把删除的行存到剪贴板里p → 粘贴剪贴板h j k l→ 移动光标， j 是向下箭头，...

2018-05-11 13:29:48 1606

原创 Python文件读写readline()、readlines()、CSV库、pandas库

1.readline().readline()每次只读取一行，通常比 .readlines()慢得多；仅当没有足够内存可以一次读取整个文件时，才应该使用.readline()。 f = open('poem.txt','r') result = list() for line in open('poem.txt'): line = f.readline() prin...

2018-05-11 10:26:19 10365

原创 Sublime Text 3常用快键键总结

通用（General）↑↓←→：上下左右移动光标，注意不是不是 KJHL ！Alt：调出菜单Ctrl + Shift + P：调出命令板（Command Palette）Ctrl + ` ：调出控制台编辑（Editing）Ctrl + Enter：在当前行下面新增一行然后跳至该行Ctrl + Shift + Enter：在当前行上面增加一行并跳至该行Ctrl + ←/→：进行逐词移动Ctrl + ...

2018-05-10 12:56:23 196

u013402321的博客