Hakcer's Junk

只懂得一点点代码的学生的福利来了。

代码 复制即可使用！pixabay 爬取思路，不能正常的使用 requests 爬取，因为他是https2 协议！ 正常我们访问的互联网都是 http 1.1 协议所以要换个思路爬取，使用 httpx 模块注意我这里的COOKIE,值 一定是要 登录之后的。#encoding:utf-8import httpxfrom bs4 import BeautifulSoupimport osimport zipfileimport timeimport randomcookie

涉及到 sign , 废话不多说，复制即可使用。新建一个js 文件 内容如下 文件名是：baidusign.js ：var i = "320305.131321201"function n(r, o) { for (var t = 0; t < o.length - 2; t += 3) { var a = o.charAt(t + 2); a = a >= "a" ? a.charCodeAt(0) - 87 : Number(a), a.

其中导入的包是我自己写的工具，代码中需要的库是 requets ,bs4 即可 ：# encoding:utf-8from web_tools.SpiderTools.webspider_setting import *import requestsheaders = {'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,applicat

1.爬取http://www.1ppt.com/ 所有ppt ，并且下载下来。2.爬取任意新浪微博博主的某条超过100条评论的评论，保存为excel 文件3.爬取 https://lcsc.com/products/Connectors_365.html 下方2000多也的 表格数据，保存到mysql 中3个任务完成，把数据发送到 singfy@163.com ，拉进入爬虫接单分享群。...

本期课程目录：什么是 requests：如何安装 requests：Requests 库的使用：那么我们怎么使用 requests 来模拟浏览器，去请求网站呢？requests.get() 解释：什么是网址：用 requests.get() , 请求网站 是否成功请求：用 requests ，打印输出获取到的请求信息：代码整体思路：什么是 requests：requests 中文翻译：请求（Requests） ，那什么是请求呢？字面意义就是 提出要求,希望得到满足。 比如：“张三对李四说，能能去讲台帮

大家好我是宋哈哈，今天也是偶然和一位同事聊起，发了一个代码，爬去古风头像的一个爬虫。在我基础上，我又重新晚上了一下。看下效果图。废话不多说，直接上代码：【下方是单线程版本，复制粘贴直接可用】#encoding:utf-8from urllib.parse import urlencodeimport requestsimport jsonimport timeimport osimport random"""功能解释点：urlencode 功能就是 把字典数据的值 用

前言大家好，我是宋哈哈，大家在某宝购买了 某某教学视频，每次看的时候，都需要网络去看它，如果网络不好的时候，岂不是看起来非常吃力？这样我们就把它爬去下来吧。这是我在某宝购买的视频教程：需要爬去的视频预览：爬取教程讲解准备安装好 selenium 和 requests ，json 包，因为淘宝的反爬虫机制做的非常的严格，所以我这里就用到了 selenium 来模拟浏览器。但是同时也要获取cookie ，这里的cookie 可不是直接访问的cookie，是json 的cookie 。后面会讲。

前言：大家好，我是宋哈哈，今天在学习的时候，收到了这么一个课程，需要爬取 京东的商品的信息，我也是试着去做了下，以为还是其他网站一样，找到JS 文件直接 用 json.loads 就能获取了。没想到碰到了一个错误。就是这么一个错误：json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)这个时候看下json 文件，我们会发现多了一个 其他的参数，类似这样的参数：jQuery1387989(从而导致.