Quest_sec的博客

今天在继续学习Python时，打开Pycharm后，发现有一个项目下的项目文件名是红色的，如下图：刚开始我以为是我升级 Pycharm导致的，但我并没有急着去解决，因为并不会影响我执行代码等。当我修改了一点代码后，我将它add并commit到Git后，才发现问题的原因：是我以前将Word设置成了Git的一个仓库，但是当时这些文件我并没有添加到Git里，所以会显示为红色。（这倒是挺好，可以提示我记得提交）解决方法一：如上我说的那样，add（add后会显示成绿色）并commit到Git（或者其他版本控制

lxml安装正常，import lxml正常，from lxml import etree 报错，查了很多资料，都没有解决问题，但仍然汇总于下：1、电脑中具有 lxml 同名文件，重命名即可，即使不在同一路径，也不允许？2、高版本lxml没有etree模块。有网友确定lxml4.2.5版本带有etree模块，且该版本lxml支持python3.7.4版本。安装命令：pip install l...

python使用os.rename（）函数重命名文件/目录，出现如题报错，在查阅了很多资料后，终于发现了问题。。。将解决办法总结如下

（一） 安装驱动器mysql-connector（二）Python完整代码实例（三）常见报错类型与解决办法

excel上图：爬虫跑的结果，上图：那么问题出现了，每一组数据都确定是爬下来的，为什么单单这几行没有呢？百度没有看到任何相似问题，只好自己写了。观察发现，这几组数据是不完整的，少了一列，但是我们想要的结果并不是直接舍弃整组数据，而是有多少要多少，so去修改代码吧~...

（1）提取标签之间的内容：规则/text() type（result）=result = html.xpath('//div[@class="hd"]/span/text()') （2）提取标签之间的超链接：'规则'，不需要text（）啦！！！result_url_list = html.xpath('//div[@class="info"]//a/@href')...

Python xlwt,xlrd语法xlrd和xlwt模块的小栗子 - https://www.cnblogs.com/xiao-apple36/p/9603499.htmlpython xlwt 设置单元格样式 ——https://www.jianshu.com/p/0f0cfffc949bxlwt.Borders（）Example ——https://www.programcreek.c...

python操作Excel的模块提供的功能归纳起来有两种：一、用python读写Excel文件，实际上就是读写有格式的文本文件，操作excel文件和操作text、csv文件没有区别，Excel文件只是用来储存数据。二、除了操作数据，还可以调整Excel文件的表格宽度、字体颜色等。另外需要提到的是用COM调用Excel的API操作Excel文档也是可行的，相当麻烦基本和VBA没有区别。...

MySQL数据以表格的形式出现，许多的行和列组成一张表单，若干的表单组成database

想要去掉\t\r\n：使用函数 normalize-space（）result = html.xpath('normalize-space(//tbody//a/text())')#返回list类型print(result)

拿到HTML网页html = etree.HTML(content)编写规则html = etree.HTML(content)divs = html.xpath('//div[@class="rank"]//span[@class="span"]')print(type(divs))print(divs)divs返回一个列表,无法直接打印出数据：<class 'list...

import rehtml = """ <div id="songs-list"> <h2 class="title">流行金曲</h2> <p class = "introduction">经典歌曲列表</p> <ul id="list" class="list-group"> ...

四种可能：https://blog.csdn.net/weixin_41931602/article/details/81747393一种可能：https://blog.csdn.net/qxqxqzzz/article/details/47187289?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=dist...

文章目录（一）XPath语法（二）用Python实践Python爬虫的两个思路：常用写法（三）一个案例【完整代码】（一）XPath语法借助Chrome浏览器的XPath插件来学习XPath语法，视频学习链接：网络爬虫与XPath（一）网络爬虫与XPath（二）笔记：目标标签、目标标签、目标属性、目标标签、父标签、父标签+父属性父标签+父属性+目标标签爷爷标签+父标签+…（规则...

“互联网中有50%以上的流量是爬虫”，那这么多的爬虫它们在互联网上做什么呢？答案当然是：孜孜不倦的爬取爬取网页信息。今天我们就来讲讲组成互联网的重要部分之一：HTML网页。文章目录一、起源与发展二、组成部分1.HTML标签2.数据3.CSS样式4.js

文章目录一、Scrapy shell一句话介绍二、Scrapy内置的Selector选择器三、Scrapy shell 实战演练...

有需求的话，使用http头查询到的URL...

scrapy用-o filename.json 输出时，会默认使用unicode编码，当内容为中文时，输出的json文件不便于查看，如下图：可以在setting.py文件中修改默认的输出编码方式，只需要在setting.py中增加如下语句（默认似乎是没有指定的，所以要增加，如果默认有，就直接修改）FEED_EXPORT_ENCODING = ‘utf-8’修改后输出如下:原文链接：ht...

一、Scrapy无法返回爬取内容的几种可能原因1，ip封锁爬取2，xpath路径不对3，xpath路径出现font，tbody标签4，xpath路径不够明确5，robot协议6，请求头封锁二、网站如何识别爬虫？三、网站常见反爬虫策略？四、常见反反爬虫策略？五、实战演练

win10安装Scrapy（1）有两种办法，一是用Anaconda安装，（2）二是用pip安装，pip无法直接安装scrapy框架，需要先安装很多依赖库。应用实例：新建一个项目...

（图源以及参考：python爬虫系列 https://www.jianshu.com/p/4424c7f36143）爬虫的流程：请求网页 - 解析网页 - 提取网页数据 - 保存数据（1）请求网页（2）解析网页、提取数据的组合：bs4 + lxml 或者 lxml+xpath等（3）保存数据文章目录Json库lxml库requests 库正则表达式bs4xpathJson库bs4...

如何写一个爬虫程序爬取豆瓣内容？

爬虫必备的一些第三方库汇总；以及conda与pip到底有什么不同；conda install XXX 和 pip install XXX 的区别

安装python、安装编辑器、语法讲解、面向对象编程、面向对象高级编程、 错误、调试与测试、IO编程、进程和线程、正则表达式、常用内建模块、常用第三方模块 virtualenv、图形界面、网络编程、电子邮件、访问数据库、Web开发、异步IO

pycharm初始化1、添加 / 更换python解释器2、Create New ProjectLocation是我们存放工程的路径...

1.1 功能：可以自动化浏览网络中的信息，当然这些浏览需要按照我们制定的规则进行，这些规则称为网络爬虫算法。1.2 基于：使用python可以方便地编写出爬虫程序，进行互联网信息的自动化检索。1.3 实现过程：搜索引擎离不开爬虫，比如百度搜索引擎的爬虫叫做百度蜘蛛 。百度蜘蛛每天在海量的互联网信息中进行爬取，爬取优质信息并收录。 当用户在百度搜索引擎上检索对应关键词...

文章目录chrome查找页面内容Toggle JavaScriptXpath-helperJSONViewSurfingkeysAdBlockFirebugHackbarchrome查找页面内容F3 打开搜索框Toggle JavaScript这个插件的功能是方便地开启和关闭chrome的javascript功能。使用也很方便，点一下关闭，再点一下开启，对我们的起始豆瓣分类页关闭Java...

1.从IDLE启动python：IDLE是一个python shell，shell是外壳的意思，相当于windows系统的cmd窗口，即一个键入文本与程序交互的途径。 打开IDLE，界面上显示python版本。在“&amp;gt;&amp;gt;&amp;gt;”该行代表可以正常进行工作了 注意python2. 与3. 有些不兼容，在语句上也有些差别，我用的是python3.6.2 切换上下一条语句，方向键（同...