![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
码农小熊猫
这个作者很懒,什么都没留下…
展开
-
bs4爬取西游记文本
1.查看网页爬取西游记的网址:https://www.shicimingju.com/book/xiyouji.html我们可以发现每个标题所存在的标签和class名字,观察之后方便我们写bs4语句。2.爬取过程详细代码import requestsfrom bs4 import BeautifulSoupif __name__ == '__main__': url='https://www.shicimingju.com/book/xiyouji.html' header原创 2021-08-15 11:27:31 · 926 阅读 · 0 评论 -
python爬虫之百度贴吧图片爬取
首先查看网页的图片源码例如爬取网址:https://tieba.baidu.com/p/6384708206查看需要爬取的图片标签(找寻规律)使用聚焦爬虫将页面中所有的图片进行解析与提取根据上一步我们可以发现需要爬取图片的标签规律,所有图片地址都在一个div中分成不同的img标签中综上所述,使用聚焦爬虫将页面中所有的图片进行解析与提取为:<img class=“BDE_Image” src="(.?)" size=.? changedsize=.? width=.? height原创 2021-08-12 10:56:41 · 651 阅读 · 0 评论 -
requests豆瓣电影爬取(简单)
1.查看网站网址:https://movie.douban.com/chart选择需要爬取的电影类型例如:选择科幻类电影排行榜2.查看网页源码查找 Request URL记录地址查看并记录参数查看网页内容的格式找到Response Headers分组查看Content-Type(本次例子就是json格式)3.编写代码# 引入所需模块import requestsimport jsonif __name__ == '__main__': # step1:指定url原创 2021-08-04 11:47:20 · 963 阅读 · 0 评论 -
Matplotlib可视化学习笔记
一.引入matplotlib库Import matplotlib.pyplot as plt二.基本操作(1)线条宽度:plt.plot(data,lw=5)#data为数据,线条为5;(2)颜色选择&线性选择:plt.plot(data,color=’r’,linestyle=’:’)#颜色为红,线性为点状;‘-’ 实线;‘–’ 虚线;‘_’ 点滑线;‘:’ 点状线;(3)maker选择:plt.plot(data,color=’r’,maker=’o’)#圆形点(4)添原创 2020-06-22 18:55:39 · 125 阅读 · 0 评论 -
二手房数据分析项目流程
二手房数据分析项目流程1.首先导入数据集,查看数据集是否有缺失值2.显示每一项的总数,查看是否有缺失值(发现Elevator列有大量数据缺失)3.将数据用百分比形式进行展示发现疑惑点:Ⅰ:有2平方的房子吗?Ⅱ:存在57层的居民楼吗?4.因为数据没有每平方价钱,就自己添加一项,方便接下来作图让数据展现更加清晰。把不重要的列进行去除,并根据个人习惯将数据重新排。5.做可视化(1)Region(区域)特征分析;先进行区域分组;房数量和每平米房价 (2)Size(平方数)特征分析;建房时间分布;原创 2020-06-22 18:45:43 · 861 阅读 · 0 评论 -
pandas数据分析显示不全问题
(1)describe()(2)数据分析的时候很多数据不显输入pandas.set_option(‘display.max_columns’, None)显示中间省略内容(3)显示所有列Pandas.set_option(‘display.max_columns’,None)(4)显示所有行Pandas.set_option(‘dispaly.max_rows’,None)(5)设置value的显示长度为100,默认为50Pandas.set_option(‘max_colwidth’原创 2020-06-21 20:44:53 · 2481 阅读 · 2 评论