Python爬虫+可视化分析技术实现招聘网站岗位数据抓取与分析推荐系统_基于网络爬虫的求职大数据获取及分析系统(1)

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

        html = requests.get(url, headers=HEADERS).content.decode("gbk")
        bs = BeautifulSoup(html, "lxml").find("div", class_="dw_table").find_all(
            "div", class_="el"
        )
        for b in bs:
            try:
                href, post = b.find("a")["href"], b.find("a")["title"]
                locate = b.find("span", class_="t3").text
                salary = b.find("span", class_="t4").text
                item = {
                    "href": href, "post": post, "locate": locate, "salary": salary
                }
                self.desc_url_queue.put(href)  # 岗位详情链接加入队列
                self.company.append(item)
            except Exception:
                pass
    # 打印队列长度,即多少条岗位详情 url
    logger.info("队列长度为 {} ".format(self.desc_url_queue.qsize()))

@staticmethod
def insert_into_db():
“”"
插入数据到数据库

    create table jobpost(
        j_salary float(3, 1),
        j_locate text,
        j_post text
    );
    """
    conn = pymysql.connect(
        host="****",
        port=****,
        user="root",
        paswd="****",
        db="AAAA",
        charset="utf8",
    )
    cur = conn.cursor()
    with open(os.path.join("data", "post_salary.csv"), "r", encoding="utf-8") as f:
        f_csv = csv.reader(f)
        sql = "insert into jobpost(j_salary, j_locate, j_post) values(%s, %s, %s)"
        for row in f_csv:
            value = (row[0], row[1], row[2])
            try:
                cur.execute(sql, value)
                conn.commit()
            except Exception as e:
                logger.error(e)
    cur.close()

def run(self):
“”"
多线程爬取数据
“”"
self.job_spider()
self.execute_more_tasks(self.post_require)
self.desc_url_queue.join() # 主线程阻塞,等待队列清空

def execute_more_tasks(self, target):
    """
    协程池接收请求任务,可以扩展把解析,存储耗时操作加入各自队列,效率最大化

    :param target: 任务函数
    :param count: 启动线程数量
    """
    for i in range(POOL_MAXSIZE):
        self.pool.apply_async(target)

if name == “main”:
spider = JobSpider()

start = time.time()
spider.run()
logger.info("总耗时 {} 秒".format(time.time() - start))

本系统整体难度较低，主要包括三个步骤：收集招聘岗位数据，整理数据分析统计维度，结合echarts图表实现动态展示及推荐等。本系统采用Python语言开发，所用开发工具有pycharm 2022、visual studio code、在线uml制作工具process on、Mysql5.7、 插件包含Resharper、SQL Prompt等。


### 关于Python技术储备


学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！


包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，Python自动化测试学习等教程。带你从零基础系统性的学好Python！


#### 一、Python学习大纲


Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/71e2166464ed45959e2863dae1cc4835.jpeg#pic_center)


#### 二、Python必备开发工具


![在这里插入图片描述](https://img-blog.csdnimg.cn/e496e6652efd47f5bbe73ad2ee082d4a.png)


#### 三、入门学习视频


![](https://img-blog.csdnimg.cn/img_convert/e0106a2ebc87d23666cd0a4b476be14d.png)


#### 四、实战案例


光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。![在这里插入图片描述](https://img-blog.csdnimg.cn/7b7d7e133d984b85a09422c3ccfa7396.png)


#### 五、python副业兼职与全职路线


![在这里插入图片描述](https://img-blog.csdnimg.cn/f0f125fc73a644369b21733fd96d658f.png)


**上述这份完整版的Python全套学习资料已经上传CSDN官方，如果需要可以微信扫描下方CSDN官方认证二维码 即可领取**



> 
> 👉[[[CSDN大礼包：《python兼职资源&全套学习资料》免费分享]]]( )（**安全链接，放心点击**）
> 
> 
> 



![img](https://img-blog.csdnimg.cn/img_convert/c27922fe8698c12c0983a7d18c9865a1.png)
![img](https://img-blog.csdnimg.cn/img_convert/617cff2bd642d5895fe50a080f8cbac5.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**