数据处理
文章平均质量分 71
不犹豫~不后悔
这个作者很懒,什么都没留下…
展开
-
numpy常见的数据处理接口
文章目录numpy改:查:运算(data为number型或array型):统计函数(data为number或array):增:numpy改:维度形状:my_arr.reshape(m, n)维度交换:my_arr.transpose(元组) # 根据维度的索引交换顺序:np.random.shuffle(my_arr)类型:my_arr.astype(np.int32)查:普通索引:多维数组:my_arr[1, 1]等效于myarr[1][1],my_arr[1:3,2:原创 2020-07-25 23:56:31 · 297 阅读 · 0 评论 -
使用scrapy框架爬腾讯网时向其中引入 Queue模块所遇到问题
最近工作有点愉快, 终于对python scrapy爬虫框架用到吐血,并不是对这个框架功能彻底用透了, 而是对一下普通流水性代码的重复已经腻无力吐槽, 于是慢慢往框架中加入不一样使用方式. 本次博文是在使用scrapy框架爬取腾讯网新闻, 手动加入自定义的队列(from queue import Queue) , 用来保存url请求字符串的字典参数, ...原创 2018-10-29 16:34:24 · 407 阅读 · 0 评论 -
简单自实现scrapy爬虫的框架yield 数据处理
功能描述:捕获yield数据, 如果是字典对象或数据类型, 打印该信息;如果是请求对象,则发送该请求并打印响应结果实现关键: 装饰器coding=utf-8import requestsimport urllib.requestimport urllibname_list = [‘zhangsan’, ‘lisi’, ‘wangwu’, ‘zhaoliu’]age_list = [2...原创 2018-10-26 15:59:08 · 677 阅读 · 0 评论