小羊只会print-CSDN博客

原创 Web爬虫房价预测系统之源数据爬取

不知不觉毕业季又及即将来临，对于快毕业的大学生来说，又到了论文及毕设的抉择及操作头疼的时候了，俺也一样。免不了需要花心思在这上面了；不过好在做着在翻阅开题的时候看到一个新奇且颇感兴趣的题目(Web爬虫系统)，所以便有了这系列的文章，此系列主要是结合了爬虫，机器学习-模型预测，Web开发等技术。尽可量的做到完整-------------提示！！！可借鉴技术，切勿搬运作品用于论文设计，由于公开于互联网，保不齐有很多兄弟们也照搬。二、正文讲解1、网站分析。

2024-02-18 13:11:26 1793

原创猿人学——web/js 逆向爬虫打卡（第一天）

在network面板中随意搜索一个价格，定位到包的位置，然后可以看到，这是一个以json数据返回的，并且在负载中能够看到，携带了一个加密参数M，结构类似于md5加密 | 一个时间戳（这里有一个坑点，|这个符号不是英文的，而是中文，因此如果这个找错的话就搜索不到相对应的数据包了，只能用堆栈查找）(md5的结构常为16/32/40 0-9 a-f)，接触密文多了后常见的几种就能够大致分辨出来，会减少很多时间。一步错就会导致加密参数的不正确性。2、JS逆向处理，这点需要具备JS语言，不说熟练，精通。

2023-04-02 23:26:21 1308

原创 Excel爬虫--------------起点回归

1、不知不觉就在暴戾，焦虑和虚无中过了一个无趣无味的一年，今年学了很多，但却又什么也学不好，学不通，毕竟自己今年的状况实在太差。css查找同名同属性的最后一个标签----------找这个可以用 : .f1 div:last-child------这是大的div中的最后一个div标签，第一个的话就是.f1 div:first-child。1、今天是2022年的最后一天，决定回到起点，做自己该做的事情，给大家带来爬虫的起步作品---------------------爬取多页小说。四、爬虫CSS语法;

2022-12-31 23:50:11 504

原创关于Tor的讲解

任何事物都有两面性，如果普通的搜索满足不了你的需求，大家可以利用tor获取需求。但是千万别让欲望冲昏tou nao，任何事物都有两面性，一定要记住文明上网。关于获取途径大家可以自己搜，或者评论作者。文章不易展示。

2022-11-05 23:17:14 4578 4

原创 python框架之Scrapy&&自动存储mysql数据库

Scrapy 封装入数据库中：'mysql.connector.errors.NotSupportedError'>: Authentication plugin 'caching_sha2_password' is not supported。（没下载mysql.connector，需要pip一下）

2022-10-28 00:44:28 1818 2

原创 python可视化疫情事实报告(pyecharts)——可视化

教同学们一个技巧，当遇到不难爬，已经是表明了的数据时，可以用requests和urllib，但是遇到Ajax请求的封装包时，如果你技术硬，可以用JS逆向获取，但是我相信，如果技术都到那了，应该来这里也没多大意义了，是吧！当然，也不是没有办法，selenium就是最硬的道理。简单粗暴，直接模拟人工获取数据。

2022-10-16 01:55:24 3460 2

原创 python多线程下载(荣耀)photo

'''用于在解析好的json数据中筛选8寸照片''''因为图片存放于List中，用索引取出好评对象''因为对象有很多照pian，这里我只用取出像素最好的8寸照就行'# 作者:杨家乐# 阶段:进阶练习中，请稍后.......# 开发时间:2022/10/13 19:28import os'''转化url成json格式'''n=0'''标识头，防反pa'''}'将网页数据返回一个json，便于后续查找photo''''用于在解析好的json数据中筛选8寸照片'''

2022-10-14 23:12:57 251 5

原创 python爬虫某招聘数据进行可视化

今日美文：如果你在学习的过程中感受到了枯燥与无味，你不妨好好看看那些用剩余时间偷闲的人，他们放松了你就能从枯燥与无味的学习里获取到了优越！！！因为坚持学习本就不是一件容易的事。但是如果你比别人坚持得久，你就能超越他们，慢慢来，时间会证明一切。别让拖延症误了你，摆脱它！！！

2022-10-11 02:06:13 5360 12

原创 python爬虫小说网selenium反爬器

3、由于我要爬取的这本小说有55页，因此我用了55循环，当然，这里教的是最笨，但却是最安全可靠的方法！既然你来到了csdn那就是有着求知的目的，记住，别想着自己让自己放松，大学生们就应该为自己的后路着想，如果你是富二代，家人已经给你定好岗位了，当我没说。当然，ip代理能有就有是最好的，还有就是格式的转化，如果爬取格式的内容话会涉及到json,美丽汤（beautifulsoup库！）【最简单的方式，找自己喜欢的文章，后续我会继续学习如何固定爬取想到的数量，理论到了，实践就靠逻辑！1、我用的网站是小说阅读网（

2022-10-09 00:34:40 2863

m0_66044243的博客