![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
洛樱冰飞
这个作者很懒,什么都没留下…
展开
-
数据清洗
1. to_datatime 转化成时间类型转换成时间类型,要通过format 指定之前的格式转换后可以看到Boarding_time 变成 datatime64类型2. astype 转化成其他类型,如这里转化成浮点型3. duplicated 查看重复值drop_duplicates 去重, inplace = True 表示更改数据源data4. 空值isnull 判断哪个位置为空,用any判断哪列有空值dropna 删除空值fi..原创 2020-08-23 21:31:32 · 169 阅读 · 0 评论 -
pandas 读取数据库数据
调用pymysql 的connect 方法host: mysql 服务器user:数据库的用户名password:数据库的密码port: 端口号charset:数据库的字符集1. shape 表示sql结果有几行几列columns 表示数据库中表的定义值可用索引调用单个或多个列...原创 2020-08-23 17:47:50 · 586 阅读 · 0 评论 -
Numpy
连续索引:取出前三个元素间断索引:取出第一第四第六个元素逻辑索引:取出小于19的数构造二位数组:取某个位置的值:取某一行的值:取某一列的值原创 2020-08-19 22:34:11 · 88 阅读 · 0 评论 -
ProxyHandler
ProxyHandler 处理器(代理设置):解决封ip问题返回值中可以看到是指定的ip原创 2020-07-20 21:51:11 · 1148 阅读 · 0 评论 -
urllib parse 库
parse.urlencode: 字典转化成url 编码结果: name=%E5%B4%94%E5%86%B0%E6%B4%81&age=18&greet=hello+worldparse_qs: 将经过编码的url进行解码结果:{'name': ['崔冰洁'], 'age': ['18'], 'greet': ['hello world']}urlparse 和 urlsplit: 解析url区别:urlparse 有params ...原创 2020-07-18 23:24:21 · 117 阅读 · 0 评论 -
分布式进程
分布式进程指的是将Process进程分布的多台机器上,充分利用多台机器的性能完成复杂的任务,我们可以将这点应用的分布式爬虫的开发中。我们举个简单例子,服务进程用来设置任务在task_queue,并设置接口。任务进程调用相同的接口,执行任务,结果写进result queuetaskManager.py : 服务进程from multiprocessing.managers import BaseManagerfrom multiprocessing import freeze...原创 2020-06-21 21:39:44 · 443 阅读 · 0 评论