网络爬虫
文章平均质量分 89
超周到的程序员
【履历】目前就职于快手,大三时在腾讯实习,22年秋招收到多家大厂的录用offer:腾讯云、快手、云账户、福耀、比亚迪等,有二十余场面试经验
【技术咨询】本人可提供指导的方向:软件开发领域的多种语言的后端开发(Java、Python、Node.js、Go)、前端开发、3D游戏开发、App开发、网络爬虫、Web自动化、数据可视化
展开
-
【Python3爬虫】BeautifulSoup库爬取奇客Solidot科技咨询:采集10天内的咨询信息
前言:本文爬取奇客网数据仅作为学习所用,也是因为已经一个多月没写博客了(因为近期所学的内容都不方便写成公开博客发出来)。本文爬取技术用的是 BeautifulSoup库,关于其具体用法可自行在网上查阅相关资料,我当时参考的是《Python3 网络爬虫开发实战》这本书(不是打广告)文章目录1 网站介绍2 需求介绍3 引入库介绍4 具体编码与说明5 最终结果1 网站介绍本文所爬取的网站叫做奇客Solidot。奇客Solidot:是至顶网下的科技资讯网站,主要面对开源自由软件和关心科技资讯读者群,包.原创 2021-12-05 23:29:50 · 1092 阅读 · 2 评论 -
【开发总结】用Python爬虫做一个“天气预报”软件(exe可执行)
0.故事背景:好久没写Python了,碰巧有位高中同学有这个“天气预报”软件相关技术的需求,我也借此再回顾一下Python的部分知识1.用到的技术关键词:中国天气网、爬虫、GUI、程序打包exe2.项目前的准备:中国天气网:http://www.weather.com.cn/requests库:爬取中国天气网中的天气等数据。tkinter:制作图形用户界面,从而实现更友好的输入和输出,并与接下来的打包操作结合起来。pyInstaller:用于最终的项目打包,将py文件和依赖的环境转为一个exe原创 2020-11-21 09:16:22 · 2034 阅读 · 3 评论 -
【Python爬虫】图文教学 爬取并汇总至Excel:高考志愿中的所有专业大类、具体专业的各项信息
1 本文背景近期在做一个高考志愿智能决策系统,并想引入专业介绍功能,此系统的用户提供志愿推荐的同时,来普及各种专业的信息,方便用户了解了多数专业的具体情况后,再根据系统的推荐,来得到比较理性并且适合自己的专业选择。因此,此功能的实现,需要借助高考志愿中所有的专业信息,包括专业大类,具体专业。2 技术选型Python + requests库 + xlwt库3 数据来源网站:https://gkcx.eol.cn/special4 网站分析此网页设计十分规整,一共 25 页,格式统一,这意味着接原创 2021-08-14 15:45:18 · 2199 阅读 · 7 评论