- 博客(3)
- 收藏
- 关注
原创 python3爬虫实战01--爬取简单文字内容
20200205 调用BeautifulSoup和requests库爬取网页内容 import requests from bs4 import BeautifulSoup def crawle(): url = 'https://www.kanunu8.com/book3/7474/' req = requests.get(url=url) req.encoding =...
2020-02-05 22:08:40 458
原创 利用kettle解决excel数据量过大卡顿问题
excel输入 excel输入可以有两种方式①是csv;②是xls。由于xls的行数不够,所以我一般用的csv输入 需要注意的点是: ①:注意数据输入的长度和格式,例如:日期格式·百分率·数据类型等等 2. 两个excel数据重合 ①:要想两个excel根据一定的主键将数据组合在一起就需要用到kettle的“排序记录”“记录集连接” 需要注意的是: a. 两个excel都要接排序记录,...
2019-03-31 23:01:40 8467
原创 利用pandas简单处理csv文件数据
引入pandas import pandas as pd 导入csv文件,r"不转义,encoding确定编码,nrows读取行数 import pandas as pd df=pd.read_csv(r"csv文件地址",encoding='gbk',nrows=5) print(df) 求均值 df.mean() #求指定列均值 df["指定列"].mean() 求中位数 ...
2019-03-19 16:04:24 688
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人