爬虫学习
文章平均质量分 84
枫子樵
Only timid people will keep losing.
展开
-
爬虫学习(第三天)--------初识scrapy
ok啊,文件夹创建完成了,那么我们该如何使用呢,首先进入文件夹。这样我们的第一个爬虫框架就出来了,用pycharm打开。在当前文件夹上的导航栏上输cmd即可:如下图。PS:为什么要使用虚拟环境(ai版)okey,出现上图就说明创建完成了。PS:写一下怎么在某一文件下创建。接着按照顺序操作就可以使用了。然后按照他给提示接着操作。原创 2024-06-10 23:37:17 · 576 阅读 · 0 评论 -
爬虫学习(第一天)--------爬取豆瓣小说
这篇文章最后的代码呢是作者第一次接触爬虫后写的,如果有错误欢迎大家指正。说一下遇到的困难吧,虽然有些已经记不大清楚了。这篇代码我可以说是写了蛮久的,大概有三四天,我考虑过是否是自己太愚笨,但其实不然。我想除了真的天赋异禀的人之外,大部分人可能都和我一样,会改了又改。写代码过程中呢,xpath的路径卡了我还是蛮久的,因为当时我还不知道可以直接复制,一直在自己写,一直出错。还有就是用函数封装,我个人是先把主体写好,再用函数封装,虽然耗的时间多,但胜在封装的时候不会出错。原创 2023-12-01 19:50:28 · 1927 阅读 · 4 评论 -
爬虫学习(第二天)--------爬取安居客十万条数据,并简单可视化
怎么说呢,这篇复盘其实已经从上学期快期末的时候开始写,已经过去大几个月,一直拖着没写完,总的来说,做完这个答辩给了我启发以及知识面的拓展,受益良多。但是代码写的太过粗糙了,有待改进。做一下后面的大致计划好了,可以再去巩固线程的知识,然后去学一下异常地抛出,还有数据清洗啥的......写一下作者寒假到大一下学期快结束这期间的感悟吧。作者寒假的时候本来是打算准备蓝桥杯的,包括开学一直到比赛的那段时间,但是由于自身的怠惰,三天打鱼两天晒网,最后想学的东西没学到,还白白浪费了报名费。原创 2024-06-07 23:59:36 · 1634 阅读 · 0 评论