![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 70
Man-Li
漫鸽网络
展开
-
《gathertool开发使用文档》
Date : 2023-03-28Author : ManGeMail : 2912882908@qq.comGithub : https://github.com/mangenotwork/gathertoolgo get github.com/mangenotwork/gathertoolgathertool是一个高度封装工具库,包含了http/s的请求,Mysql数据库方法,数据类型处理方法,数据提取方法,websocket相关方法,TCP|UDP相关方法,NoSql相关方法,开发常用方法等; 可原创 2023-03-31 14:57:19 · 489 阅读 · 0 评论 -
golang爬虫练习-抓取行业信息分类
gathertoolgathertool是golang脚本化开发库,目的是提高对应场景程序开发的效率;轻量级爬虫库,接口测试&压力测试库,DB操作库等。地址:下载: go get github.com/mangenotwork/gathertool库文档:使用gathertool能很规范化抓取程序的编写,提供配置,请求,提取,保存;特别是提取,使用 gt.GetPointClassHTML 快速定位到数据Dom范围,再使用gt.RegHtmlATxt获取到具体数据;原创 2022-11-22 09:57:47 · 338 阅读 · 0 评论 -
golang爬虫抓取期货数据
golang爬虫抓取期货数据原创 2022-07-08 10:47:32 · 662 阅读 · 0 评论 -
golang爬虫抓取商品报价
golang爬虫抓取商品报价数据原创 2022-07-08 10:04:50 · 355 阅读 · 0 评论 -
golang微博爬虫-无登录获取cookie抓取微博
使用爬虫框架 gathertool框架地址: https://github.com/mangenotwork/gathertool框架下载: go get github.com/mangenotwork/gathertool介绍: 轻量级爬虫,接口测试,压力测试框架, 提高开发对应场景的golang程序。框架文档: https://380949.baklib-free.com/获取cookie步骤请求https://weibo.com F12 Network查看到由 https原创 2021-05-13 20:29:48 · 1576 阅读 · 0 评论 -
golang爬虫 高并发抓取阳光高考招生简章
golang爬虫高并发抓取阳光高考招生简章链接地址一级页面 学校列表https://gaokao.chsi.com.cn/zsgs/zhangcheng/listVerifedZszc–method-index,lb-1,start-0.dhtml二级页 每年的https://gaokao.chsi.com.cn/zsgs/zhangcheng/listZszc–schId-5.dhtml三级页 招生章程内容https://gaokao.chsi.com.cn/zsgs/zhangc原创 2021-04-28 21:16:05 · 1120 阅读 · 1 评论 -
基于golang爬虫框架gathertool快速编写并发抓取国内ip信息
基于golang爬虫框架gathertool快速编写并发抓取国内ip信息gathertool框架地址: https://github.com/mangenotwork/gathertool框架下载: go get github.com/mangenotwork/gathertool介绍: 轻量级爬虫,接口测试,压力测试框架, 提高开发对应场景的golang程序。框架文档: https://github.com/mangenotwork/gathertool/blob/main/READ原创 2021-04-26 20:06:07 · 2019 阅读 · 5 评论 -
基于golang实现代理IP抓取实例
依赖库“github.com/imroc/req”“github.com/PuerkitoBio/goquery”参考自己的开源项目https://github.com/mangenotwork/ManGe_IpProxy实例简单,直接上code/* golang 的代理ip采集*/package mainimport ( "fmt" "math/rand" "time" "strings" "regexp" "database/sql"原创 2020-06-10 10:35:10 · 1345 阅读 · 0 评论 -
爬虫简单实例-爬取拼多多商品信息
接口https://youhui.pinduoduo.com/goods/goods-detail?goodsId=商品信息ID思路通过遍历商品信息ID来获取商品的信息, 1 ~ 99999999999然后使用多线程或多进程进行抓取优点 : 无反爬,实现简单缺点 : 效率慢,资源损耗大,时间长效果实现#!/usr/bin/env python# -*- co...原创 2019-11-07 15:49:28 · 34563 阅读 · 14 评论 -
漫鸽爬虫实例 - 采集信用中国的数据
效果图简述1. 需要用到 requests 库。2. 利用多进程同步爬取,multiprocessing库。3. 需要对目标网站做接口分析,找到读取数据的接口。4. 获取到的数据可以利用正则清洗。5. 采集的数据保存到csv.>code# -*- coding=utf-8 -*-__author__ = 'ManGe' ''' 信用中国 四...原创 2019-08-08 10:04:16 · 1038 阅读 · 0 评论