- 博客(18)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Numpy 数组
Numpy 数组Numpy数组是具有固定大小的类型化数组。Numpy数组是同质的，只能存放同一种类型的对象。数组由两部分组成：存储在连续的内存块中的实际数据描述实际数据的元数据文章目录Numpy 数组创建一维数组创建多维数组选择 Numpy 数组元素Numpy 的数值类型数据类型对象字符码dtype 属性一维数组的切片与索引处理数组形状堆叠数组拆分 Numpy 数组Numpy ...
2018-10-30 23:24:30
1215
原创 Reuqests-html教程
文章目录Reuqests-html安装基本使用获取页面非异步异步获取获取链接获取元素CSS选择器Xpath选择器元素内容JavaScript支持render函数属性异步请求不带请求Reuqests-htmlrequests 作者开发，集成 pyppeteer。最近爬虫遇到的情况是，爬取的网站使用JavaScript渲染的，网站爬取的结果只有一堆JS代码。之前遇到这种情况的处理办法是用Sp...
2018-10-26 13:53:54
2320
2
原创 Pyplot基础教程
Pyplot基础教程matplotlib的pyplot子库提供了和matlab类似的绘图API绘图基础定义图像窗口plt.figure() # 定义一个图像窗口plt.show() # 显示图像figure窗口plt.figure(num=3, figsize=(8,5)) # 图像窗口，编号为3，大小为(8,5)plt.plot(x,y,color='...
2018-10-25 15:21:28
1646
原创 Pandas常用方法
Pandas常用方法常用属性np.array(list,dtype=np.int) 创建一个数组np.shape 显示np数组属性np.ndim 显示数组维度np.dtype 显示数组元素类型np.itemsiex 数组元素所占字节大小np.size 数组元素个数np.arange(1,11) 产生一个1-11的等差数列np.aran...
2018-10-25 15:20:48
833
原创 Mac下matplotlib中文乱码
Mac下matplotlib中文乱码字体下载：地址第一步寻找字体路径>>> import matplotlib>>> matplotlib.matplotlib_fname()'/Users/hubo/code/.venv/lib/python3.6/site-packages/matplotlib/mpl-data/matplotlibrc'字...
2018-10-24 23:17:11
725
原创 Pandas入门学习（4）
文章目录Pandas 常用功能Pandas分组将数据拆分成组查看分组迭代遍历分组选择一个分组聚合一次使用多个聚合函数过滤Pandas 合并/连接在一个键上合并两个DataFrame合并多个键上的两个DataFramehow参数3、Pandas IO工具自定义索引转换器指定标题名称Pandas 常用功能Pandas分组在许多情况下，我们将数据分成多个集合，并在每个子集上应用一些函数。在应用函...
2018-10-23 21:57:38
696
原创 DataFrame 数据合并(merge，join，concat)
DataFrame 数据合并(merge，join，concat)文章目录DataFrame 数据合并(merge，join，concat)merge特性示例(1)特性示例(2)特性示例(3)特性示例(4)join示例concat示例(1)示例（2）示例（3）append汇总mergemerge 函数通过一个或多个键将数据集的行连接起来。场景：针对同一个主键存在的两张包含不同特征的表，通...
2018-10-21 23:30:40
21922
原创 Pandas入门学习（3）
文章目录Pandas 常用功能1、Pandas 迭代迭代 DataFrameiteritems()示例iterrows()示例itertuples()示例2、Pandas 排序按标签排序按列排序按值排序3、Pandas索引和选择数据方法索引loc()iloc()ix()运算符索引符号访问属性访问4、Pandas 统计函数百分比（pct_change()）相关性（corr()）数据排名（rank()...
2018-10-18 18:02:54
220
原创 Pandas入门学习（2）
文章目录Pandas 基本功能1、Series 基本属性axes 示例empty 示例ndim 示例size 示例values 示例head() 和 tail() 方法示例2、DataFrame 基本属性T(转置)示例axes 示例dtype 示例empty 示例ndim 示例shape 示例size 示例values 示例head() 和 tail() 方法示例3、DataFrame 描述统计d...
2018-10-18 11:27:40
393
原创 Pandas入门学习（1）
文章目录Pandas教程1、SeriesSeries的构造创建Seriesndarray创建Seriesdict创建Series标量创建Series访问Series数据使用指定位置访问Series使用标签访问Series2、DataFrameDataFrame的构造创建DataFrame列表创建DataFramendarrays/Lists的字典创建DataFrame列表创建DataFrame用S...
2018-10-18 00:26:21
586
原创 aiohttp使用教程
aiohttp使用教程aiohttp分为服务器端和客户端，本文只介绍客户端。前面有一章文章介绍了协程文章目录aiohttp使用教程1.1、请求用法1.2 在URL中传递参数1.3、相应内容1.3、特殊响应内容：json1.4、字节流读取响应内容1.5、自定义头1.6、自定义Cookie1.7、post数据的方式1.模拟表单post数据2.post JSON3.post 小文件1.8、设置代理...
2018-10-14 17:44:00
4793
5
原创 Python中的协程
Python中的协程文章目录Python中的协程定义一个协程定义第二个协程第一种定义task对象方式第二种定义task对象方式为Task绑定一个回调方法多任务协程使用aiohttp定义一个协程import asyncioasync def execute(x): print(x)coroutine = execute(1)print('coroutine:',coroutine)l...
2018-10-13 16:08:22
1003
原创 Scrapy爬取猫眼电影评论
Scrapy爬取猫眼电影评论文章目录Scrapy爬取猫眼电影评论1、寻找评论接口2、分析接口URL接口URL规律构造URL接口分析JSON参数3、Scrapy代码spiders文件Item文件piplinessettings文件4、爬取结果5、Scrapy-Redis修改爬虫文件修改setting文件进行分布式部署目标：地址1、寻找评论接口将浏览器模式从PC切换为手机2、分析接口U...
2018-10-11 23:02:20
4343
1
原创 Splash的使用
SplashSplash是一个JavaScript渲染服务，是一个带有HTTP API的轻量级浏览器，同时它对接了Python中的Twisted和QT库。利用它，我们可以实现动态渲染页面的抓取。主要说一下Splash的简单属性和方法。文章目录Splash对象属性1、args2、js_enabled3、plugins_enable4、images_enable5、resource_timeou...
2018-10-08 23:14:01
5957
原创 CrawlSpider 和 Item Loader
CrawlSpider 和 Item Loader文章目录CrawlSpider 和 Item Loader1、新建项目2、定义RuleRule参数LinkExtractor：3、Item Loader内置ProcessorIdentityTakeFirstJoinComposeMapComposeSelectJmes目的：实现一个通用爬虫，在新增一个爬虫时，只需要实现这些网站的爬取规则和提取...
2018-10-07 00:38:19
371
原创 Docker存储
Docker存储文章目录Docker存储Volume介绍Volume使用挂载卷挂载本地目录挂载一个只存放数据的容器Volume介绍提供独立于容器之外的持久化存储。比如数据库操作中，数据库中的数据就是要持久化的，并且提供容器之间数据共享。Volume使用挂载卷docker run -v /usr/share/nginx/html nginx运行一个nginx镜像，通过-v挂载一个卷。...
2018-10-05 20:43:32
279
原创 Docker实例（2）
Docker实例（2）文章目录Docker实例（2）第一个Dockerfile第二个Dockerfile命令总结镜像分层上一篇用的是docker commit来创建的镜像，这一章我们来使用Dockerfile来创建镜像。第一个DockerfileFROM alpine:latestMAINTAINER hwbCMD echo 'hello docker'FROM：我们要生成的镜像...
2018-10-05 20:42:54
682
原创 Docker实例（1）
Docker实例（1）文章目录Docker实例（1）运行一个Nginx镜像替换Nginx访问页面停止Docker再次启动容器清除容器和删除镜像命令总结运行一个Nginx镜像➜ ~ docker run -p 8080:80 -d nginxUnable to find image 'nginx:latest' locallylatest: Pulling from library/ng...
2018-10-05 20:36:32
476
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人