码农小熊猫-CSDN博客

原创 xpath爬取简历模板

（一）爬取准备网站：https://aspx.sc.chinaz.com/query.aspx?keyword=%E5%85%8D%E8%B4%B9&classID=864插件：request，lxml（二）查看网页布局1.查看爬取的网页2.查看网页的布局（快捷键：F12）红色箭头标注：红色是一个大的div，这个div块里面放的是所有模板；绿色箭头标注：绿色是一个小的div，这个div块里面放的是单个模板；需要分清楚包含关系，否则写xpath的时候会乱目的：爬取每个模板的子网页

2021-08-28 12:39:12 358

原创 bs4爬取西游记文本

1.查看网页爬取西游记的网址：https://www.shicimingju.com/book/xiyouji.html我们可以发现每个标题所存在的标签和class名字，观察之后方便我们写bs4语句。2.爬取过程详细代码import requestsfrom bs4 import BeautifulSoupif __name__ == '__main__': url='https://www.shicimingju.com/book/xiyouji.html' header

2021-08-15 11:27:31 926

原创 python爬虫之百度贴吧图片爬取

首先查看网页的图片源码例如爬取网址：https://tieba.baidu.com/p/6384708206查看需要爬取的图片标签（找寻规律）使用聚焦爬虫将页面中所有的图片进行解析与提取根据上一步我们可以发现需要爬取图片的标签规律，所有图片地址都在一个div中分成不同的img标签中综上所述，使用聚焦爬虫将页面中所有的图片进行解析与提取为：<img class=“BDE_Image” src="(.?)" size=.? changedsize=.? width=.? height

2021-08-12 10:56:41 651

原创 requests豆瓣电影爬取（简单）

1.查看网站网址：https://movie.douban.com/chart选择需要爬取的电影类型例如：选择科幻类电影排行榜2.查看网页源码查找 Request URL记录地址查看并记录参数查看网页内容的格式找到Response Headers分组查看Content-Type（本次例子就是json格式）3.编写代码# 引入所需模块import requestsimport jsonif __name__ == '__main__': # step1:指定url

2021-08-04 11:47:20 962

原创 html基础学习笔记（一）

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如何使用Mar

2021-05-14 22:08:01 68

原创解决Navicat for MySQL与Mysql连接不上问题

解决Navicat for MySQL与Mysql连接不上问题如图：解决办法：（1）开始 > 输入：services.msc指令（2）找到自己的mysql（3）将左边的开启打开，如下显示，再去连接mysql就成功了

2020-06-22 18:59:31 2711

原创 Matplotlib可视化学习笔记

一．引入matplotlib库Import matplotlib.pyplot as plt二．基本操作（1）线条宽度：plt.plot(data,lw=5)#data为数据，线条为5；（2）颜色选择&线性选择：plt.plot(data,color=’r’,linestyle=’:’)#颜色为红，线性为点状；‘-’ 实线；‘–’ 虚线；‘_’ 点滑线；‘:’ 点状线；（3）maker选择：plt.plot(data,color=’r’,maker=’o’)#圆形点（4）添

2020-06-22 18:55:39 125

原创安装Navicat for MySQL教程

安装Navicat for MySQL教程介绍压缩包内容2.一直下一步就行3.换个位置4.一直下一步（安装完成）5.会跳出网页要求购买（关闭网页）6.开始打补丁7.首先查看此软件安装位置比如说，我的软件安装在E:\MySQL\Navicat for MySQL这个位置；其次，打开发的文件中最后进行打补丁（注意：双击完等待一会儿）8.出现此提示安装完成...

2020-06-22 18:51:15 250

原创二手房数据分析项目流程

二手房数据分析项目流程1.首先导入数据集，查看数据集是否有缺失值2.显示每一项的总数，查看是否有缺失值（发现Elevator列有大量数据缺失）3.将数据用百分比形式进行展示发现疑惑点：Ⅰ：有2平方的房子吗？Ⅱ：存在57层的居民楼吗？4.因为数据没有每平方价钱，就自己添加一项，方便接下来作图让数据展现更加清晰。把不重要的列进行去除，并根据个人习惯将数据重新排。5.做可视化（1）Region（区域）特征分析；先进行区域分组；房数量和每平米房价 (2)Size（平方数）特征分析；建房时间分布；

2020-06-22 18:45:43 861

原创解决Navicat for MySQL插入中文不成功问题

mysql数据库插入中文不成功解决办法：把字符集改成utf8 –UTF-8 Unicode最后成功显示中文

2020-06-22 18:31:11 2130

原创 pandas数据分析显示不全问题

（1）describe()（2）数据分析的时候很多数据不显输入pandas.set_option(‘display.max_columns’, None)显示中间省略内容（3）显示所有列Pandas.set_option(‘display.max_columns’,None)（4）显示所有行Pandas.set_option(‘dispaly.max_rows’,None)（5）设置value的显示长度为100，默认为50Pandas.set_option(‘max_colwidth’

2020-06-21 20:44:53 2481 2

weixin_46289100的博客