- 博客(13)
- 收藏
- 关注
RSS订阅原创 hive基础
（使用hive 2.3版本）hive的资料Hive 教程（官方Tutorial） Hive HiveQL基础知识及常用语句总结 Hive2.0函数大全(中文版) 过往记忆的博客表格的操作创建表格创建“课程”表格，用逗号分隔。create table course(Cno int,Cname string) row format delimited fie...
2018-04-28 18:20:56
246
原创 在hdfs中安装hive2.3时遇到的问题
hive2版本需要初始化hadoop@master:/etc/mysql$ schematool -dbType mysql -initSchema会提示以下结果：SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/home/hadoop/apache-hi...
2018-04-27 18:13:42
850
原创 ubuntu系统中mysql的安装、登录、数据导入导出操作
安装在Ubuntu 16.04下使用以下命令即可进行MySQL安装：sudo apt-get install mysql-server启动和关闭mysql服务器：service mysql startservice mysql stop 登录mysql -u root -p #这个是默认的本地数据库，密码为mysql，用来练习的。#如果登录公司的数...
2018-04-27 14:07:53
524
原创 ubuntu 命令行登陆公司mysql数据库
一直在windows中使用workbench登录公司的mysql，想用linux中访问公司数据库，搞了一会儿，发现很简单一的句命令就可以实现：mysql -h host地址 -u 用户名 -p这里的host地址不要用本地的了，要用公司数据库的地址。一般博客教程中省略了-h参数。 当然，首先系统上要安装mysql。这里只需要使用mysql客户端。...
2018-04-25 18:21:15
1806
原创 pandas 筛选数据
虽然去年就开始用pandas筛选数据，但有些方法还是容易忘记，工作中写的代码差点出错了，所以把这些内容记下来。其实英文官方文档上的内容非常详细，可以多看看。多条件筛选这里的筛选方法，是根据不同字段的不同条件，对行进行筛选，每个条件得到一个index集合， 求不同index集合的与、或、非和差集等运算。 数据如下：import pandas as pdfrom pandas ...
2018-04-25 10:14:54
5879
原创 shell编程中如何截取字符串
假设有变量 var=http://www.aaa.com/123.htm.# 号截取，删除左边字符，保留右边字符。echo ${var#*//}其中 var 是变量名，# 号是运算符，*// 表示从左边开始删除第一个 // 号及左边的所有字符 即删除 http:// 结果是 ：www.aaa.com/123.htm# 号截取，删除左边字符，保留右边字符。echo $...
2018-04-13 15:31:33
869
原创 shell编程中的 if 和循环语句
if语句if then fiif conditionthen command1 command2 ... commandN fiif then else fiif conditionthen command1 command2 ... commandNelse commandfi...
2018-04-13 10:44:08
2634
原创 在pandas修改DataFrame中的列名
有以下几种方法可以修改：方法一from pandas import DataFrame, Seriesdata = DataFrame({"a":[1, 2, 3, 4], "b":[4, 5, 6, 7]})data.columns = ["c", "d"]#直接在原数据上修改方法二from pandas import DataFrame, Seriesdata =...
2018-04-10 18:05:21
9801
1
原创 pandas中字符数据的处理方法：str.extract() 和 Series.str属性
在商业数据表中，经常需要处理字符型的数据，而pandas中的Series.str属性就有几下几十种方法可以处理字符串数据。str.extract()先介绍str.extract()，可用正则从字符数据中抽取匹配的数据，只返回第一个匹配的数据。 注意，正则表达式中必须有分组，只是返回分组中的数据，如果给分组取了名称，则该名称就是返回结果中的字段名。 Series.str.extrac...
2018-04-10 15:51:56
38006
1
原创 python正则表达式的无捕获分组（取消分组）
在正则中，分组有重要的作用，但有时候，我们并不想要分组。比如，给定一系列的地址字符串，要找出省份名称。如：‘江苏省苏州市虎丘区马涧路靠近白马涧花园‘， ’广西壮族自治区玉林市容县’等。 代码如下：import re pattern_0 = re.compile(r'(.*?(省|自治区|特别行政区|市))')pattern_1 = re.compile(r'(.*?(?:省|自治区|...
2018-04-10 15:14:32
3806
原创 用pyinstaller将py程序转换成exe文件
安装pyinstaller可以用pip install pyinstaller生成exe文件这里的xxx.ico是图标，可以在网上下载图标，也可以在比特虫上把图片转换成ico图标。xxx.py就是python文件。图标和py文件都是放在当前目录下的，所以没写路径。pyinstaller -F -i xxx.ico xxx.py代码执行完以后，在当前目录下多了一个dist...
2018-04-04 09:48:20
1612
原创 pandas 中的insert(), pop()在DataFrame的指定位置中插入某一列
在pandas中，del、drop和pop方法都可以用来删除数据，insert可以在指定位置插入数据。 可以看看以下示例。import pandas as pd from pandas import DataFrame, Seriesdata = DataFrame({'name':['yang', 'jian', 'yj'], 'age':[23, 34, 22], 'gender...
2018-04-03 18:22:20
45093
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人