HR的博客

使用Spark进行岗位数据分析配置详解数据获取MySQL建表语句Settings文件主项目代码items部分代码pipelines部分代码**数据分析分析不同学历的平均薪资分析不同岗位的平均薪资分析各公司提供的岗位配置详解本文是使用Scrapy来获取数据，再使用Spark来进行分析各版本如下软件 / 库版本Pycharm社区版2021.3.3Python3.8Pandas1.4.1Numpy1.22.3PyMySQL1.0.2scrapy.

这边有一个用来测试的网站点击跳转简单的网页爬虫requests的使用使用requests获取网页的源代码requests与正则结合多线爬虫多进程库开发多线程爬虫爬虫算法的开发深度优先搜索广度优先搜索算法的选择小测试requests的使用requests是Python的一个第三方HTTP（Hypertext Transfer Protocol，超文本传输协议）库，它比Python自带的网络库urllib更加简单、方便和人性化。使用requests可以让Python实现访问网页并获取源代码的功能。..

XPath的使用点击跳转使用Beautiful Soup4从HTML源代码中提取有用的信息简介语法讲解find和find_allselect练习简介BeautifulSoup4（BS4）是Python的一个第三方库，用来从HTML和XML中提取数据。BeautifulSoup4在某些方面比XPath易懂，但是不如XPath简洁，而且由于它是使用Python开发的，因此速度比XPath慢。使用pip命令安装:pip install beautifulsoup4安装后，切换到Python的交互.

使用XPath返回空值再练习使用XPath来爬取数据时，出现了以下情况，本人由于想要快捷，直接使用浏览器复制，结果返回了空的列表，为了验证，本人去浏览器搜索栏查看一开始以为是复制错了，就自己写全可还是返回了坑空列表于是去网上查询，得到结果：浏览器会对html文本进行一定的规范化，所以会自动在路径中加入tbody，导致读取失败，在此处直接在路径中去除tbody即可。于是将XPath语句写成://*[@id="billboard"]/div[2]/table/tr[1]/td[2]/a或/

高性能HTML内容解析HTML基础结构实现XPath从HTML源代码中提取有用的信息XPath的介绍库的安装XPath语法讲解XPath语句的格式标签1的选取可以省略的属性XPath的特殊情况使用谷歌浏览器来辅助构造XPath使用Beautiful Soup4从HTML源代码中提取有用的信息用正则表达式从网页中提取数据虽然可行。但是，网页的源代码是一种结构化的数据，如果仅仅使用正则表达式，那么这种结构化的优势就没有被很好地利用起来。现在把正则表达式中举的那个例子再做一下演绎：有一个人，长得非常

正则表达式的使用正则表达式的基础符号在python中使用正则findallsearch“.*”和“.*?”的区别正则表达式（Regular Expression）是一段字符串，它可以表示一段有规律的信息。Python自带一个正则表达式模块，通过这个模块可以查找、提取、替换一段有规律的信息。在程序开发中，要让计算机程序从一大段文本中找到需要的内容，就可以使用正则表达式来实现。使用正则表达式有如下步骤。寻找规律。使用正则符号表示规律。提取信息。正则表达式的基础符号点号“.”一

python爬虫--->使用线程池来爬取数据简介具体操作简介在爬虫的过程中，难免会遇到阻塞的情况，这样子效率就会大大的降低，所以在爬虫时一般都需要使用到，线程池，来实现并发的爬虫，来提高效率具体操作import requestsfrom multiprocessing.dummy import Poolfrom lxml import etree#进行UA伪装headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0;

爬虫—>使用selenium来实现QQ空间的自动登录#导入selenium包from selenium import webdriverfrom time import sleep#实例化一个对象bre = webdriver.Chrome('./chromedriver.exe')bre.get('https://qzone.qq.com/')#切换作用域bre.switch_to_frame('login_frame')#获取标签idplogin = bre.find_ele

python爬虫—>谷歌的无头浏览器和反检测无头浏览:是在使用selenium是的无可视化，在后台自动运行而不显示出来反检测:有些网站会检测访问的selenium是否是机器，判断是的话会不给请求from selenium import webdriverfrom time import sleep#这个是用来实现无可视化的from selenium.webdriver.chrome.options import Options#这个是用来实现反检测的from selenium.we

使用超级鹰对图片验证码进行验证import requestsfrom hashlib import md5class Chaojiying_Client(object): def __init__(self, username, password, soft_id): self.username = username password = password.encode('utf8') self.password = md5(passwor

python爬虫值selenium的自动化操作使用selenium进行一些对网页的自动化操作#导入selenium包from selenium import webdriverimport time#浏览器驱动的路径bro = webdriver.Chrome(executable_path='./chromedriver.exe')#请求访问淘宝bro.get('https://www.taobao.com/')#标签定位，定位搜索栏标签search_input = bro.