selenium+phantomjs 爬虫 获取中国移动，电信，联通通话记录

最新推荐文章于 2024-07-19 13:23:16 发布
最新推荐文章于 2024-07-19 13:23:16 发布
阅读量1.7w 收藏 3
点赞数
分类专栏： 爬虫 文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq948993066/article/details/73109469
版权

主要获取中国电信，中国移动，联通通话记录 提取征信维度,使用selenium+phantomjs完成对网站数据的爬取，由于phantomjs不符合 分布式爬取要求，所以自己动手重构了phantomjs的源码

http://git.oschina.net/wds/contact


有任何问题欢迎 留言 QQ:948993066

TensorGroot
关注
专栏目录
Python爬虫之selenium深入解读【从入门到实战】
景天科技苑
12-29 1万+
Selenium在爬虫中占据比较重要的地位。我们在抓取一些普通网页的时候requests基本上是可以满足的. 但是, 如果遇到一些特殊的网站. 它的数据是经过加密的.但是呢, 浏览器却能够正常显示出来. 那我们通过requests抓取到的内容可能就不是我们想要的结果了. 例如,电影票房数据. 在浏览器上看的时候是正常的. 那么按照之前的逻辑. 我们只需要看看数据是通过哪个请求拿到的就可以进行模拟请求了. 但是数据找到了.结果是经过加密算法的
可见即可爬：快速上手 Selenium
Amo Xiang的博客
07-20 7026
目录一、基本使用二、查找节点2.1 查找单个节点2.2 查找多个节点三、节点交互四、动作链五、执行 JavaScript 代码六、获取节点信息七、管理 Cookies七、改变节点属性的值 一、基本使用 selenium 的基本使用步骤： 打开浏览器； 获取浏览器页面的特定内容； 控制浏览器页面上的控件，如向一个文本框中输入一个字符串； 关闭浏览器。 示例： from selenium import webdriver from selenium.webdriver.common.keys import
Python数据挖掘处理通话数据、短信以及上网记录完整项目+源码+源码解释
qq_45075097的博客
09-10 1681
对通话、短信以及上网记录的数据来预测风险用户 本文代码全部采用jupyter运行 先导入相关的包 # -*- coding: UTF-8 -*- import pandas as pd import numpy as np from xgboost import XGBClassifier from sklearn.ensemble import RandomForestClassifier from sklearn import metrics, model_selection from sklearn.
爬中国联通
weixin_34255055的博客
08-12 227
#coding=utf8 import requests class ChinaUnicom(object): headerx={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36...
使用python+playwright爬取中国联通采购与招标网
最新发布
weixin_43937607的博客
07-19 558
目标网站：中国联通采购与招标网打开网站后，尝试使用开发者工具分析数据返回的情况，发现网站添加了 debugger，影响我们分析和爬取，不过没有关系，继续观察网络界面中各个链接的请求和返回情况，发现数据通过这个页面返回http://www.chinaunicombidding.cn/api/v1/bizAnno/getAnnoList?
获取手机通话记录
李文杰的博客
12-22 935
获取通话记录
python爬取手机号段（电信199号段）
适当喝点
06-10 1916
# -*- coding: GBK -*- """ 爬取手机号段归属地 """ import time import requests from lxml import etree time_start = time.time() # 程序开始时间 url = 'http://www.ip138.com:8080/search.asp?' param = {'action': '..
爬取中国移动用户问答
如梦如幻的博客
06-06 1343
最近一个好朋友在搞爬虫，问了很多问题，所以干脆直接写了一个范例。这个程序整体要两次解析网页：第一层是分析网页中的json数据来获取qtid，第二层是用qtid来解析获得问答所在的网页因为在问答网页里的数据存储是引用的数据库中的数据，所以不得已选择了低效的selenium模式没时间分析了orz  有空再分析一下吧# -*- coding:utf-8 -*- from selenium import ...
python爬虫-----Ajax/selenium爬虫
weixin_44568633的博客
04-23 676
文章目录Ajax/selenium爬虫一、为什么用Ajax二、什么是Ajax三、Ajax怎么分析页面四、基于Ajax和requests采集器的微博爬虫五、基于selenium实现爬虫 Ajax/selenium爬虫 一、为什么用Ajax 1. 浏览器中可看到正常显示的数据，但使用requests得到的结果并没有。 这是什么原因呢? requests获取的是原始的HTML文档，而浏览器中的页面是经过...
Python爬虫初学四（Ajax&selenium爬虫）
daidadeguaiguai的博客
05-04 1101
目录 一、什么是Ajax 二、Ajax的来由 三、Ajax如何分析页面 四、案例（基于Ajax和requests的的微博采集器） 五、selenium的使用 1.什么是selenium? 2.Selenium的使用 一、什么是Ajax Ajax(Asynchronous JavaScript and XML)异步的JS和XML。原理是: 利用JS在保证页面不被刷新、页面链接不改变...
Selenium切换窗口句柄及调用Chrome浏览器
LYX_WIN
11-08 550
在使用Selenium爬取知识过程，通常会遇到_blank弹出新窗体，或窗体是弹出的那种情况，而且有的需要登录，如：新浪微博、微信公众号、京东等，使用webdriver.Firefox()重新打开新窗体是无法加载已有信息的。首先，假设通过Firefox()浏览器定向爬取首页导航栏信息，审查元素代码如下图所示，在div class="menu"路径的ul、li、a下，同时可以定位ul class="clearfix"。这里使用该方法实现获取CSDN导航栏的每条导航的标题信息，因为它是_blank弹出新窗体。
UnicomTask：联通手机营业厅自动做任务，签到，领流量，领积分等
03-04
联通任务 简介 :people_with_bunny_ears: :sparkles: :grinning_face_with_smiling_eyes: :closed_mailbox_with_raised_flag: 联通手机营业厅自动完成每日任务，领流量，签到获取积分等，月底流量不发愁。 开源不易，如果本项目对你有帮助，那么就请给个star吧。 :grinning_face_with_smiling_eyes: 目录 功能 沃之树领流量，浇水（12M日流量） 每日签到（1积分+翻倍4积分+第七天1G流量日包） 天天抽奖，每天三次免费机会（随机奖励） 游戏中心每日打卡（连续打卡，积分累计至最高7，第七天1G流量日包） 游戏中心宝箱100M任务（100M日流量+随机奖励并翻倍） 4G流量包看视频，下软件任务（90M + 150M七日流量） 每日领取100定向积分 积分抽奖，每天最多抽30次（中奖几率渺茫） 冬奥积分活动（第1和7天，可领取600定向积分，其余领取300定向积分，有效期至下月底） 获取每日1G流量日包（终止日期暂时不知道） 邮件，钉钉，Tg推出运行结果 使
利用HttpClient抓取话费详单等信息
weixin_30900589的博客
08-08 218
由于项目需要，需要获取授权用户的在运营商（中国移动、中国联通、中国电信）那里的个人信息、话费详单、月汇总账单信息（需要指出的是电信用户的个人信息无法从网上营业厅获取）。抓取用户信息肯定是要模仿用户登录授权，然后爬取自己需要的东西。自然想到了利用HttpClient。 关于HttpClient的介绍可以到官网上面查看。不过需要指出的是HttpClient 项目从3.1的版本的时候就停止了更新，...
爬取电信网遇到的坑
weixin_43102784的博客
12-08 536
登入电信网遇到密码被JS加密，关于加密算法可以先了解一下基础：加密算法基础 JavaScript基础 遇到JS不用怕了用心分析就好不要慌 主要提供思路： 1.使用抓包工具先抓取密码加密后的东东 2.分析JS加密算法自己进行优化处理 3.使用python执行JS引擎执行这段加密算法 坑1 密码加密后的东东好找，但是2加密后的JS算法怎么找呢，按F12，netword没有啊，哈哈我你也遇到了，可以在查...
爬虫之云南电信抓不到详单问题
风远陌
07-14 795
遇见问题： 爬虫之云南电信抓不到详单，百思不得其解。 问题原因： 在验证前后各访问了一次http://yn.189.cn/service/jt/bill/actionjt/ifr_bill_detailslist_new.jsp，然后两次获得的页面数据一致，但是参数不同。 验证前： 验证后： 改过之后就好了，此刻 好心塞。。。
号段、运营商辅助数据爬取与解析
kngines
02-22 769
写在前面 数据分析场景需要该类字典数据 大多网站不全、未更新，脑壳疼，，， 废话省略 搜可用站点、撸代码、解析数据 必备信息 爬取与解析 import re import time import random import requests import warnings import datetime import pandas as pd from numpy import NA...
Python 获取手机营业厅token信息，自动参加“天天夺宝“活动
行者刘6
12-26 3481
此次教程是以python作为脚本运行的，需要以下软件/网页： 1.抓包工具《Charles》(电脑安装)， 2.编写python的软件，Notepad(电脑安装)，有条件pycharm就更好了 3.pydroid3 (手机)https://blog.csdn.net/qq_38282706/article/details/107739675 4.网页请求转化为Python requests的网站https://curl.trillworks.com/ 准备步骤： 1.你得会抓包，就是能...
javascript提取联通个人信息和通话记录的代码
weixin_33756418的博客
01-11 797
由于一些巨大的困难，一些后端爬虫改成了前端爬虫。   前端爬虫是只有js语言，后端爬虫有python java nodejs php这些语言。   前端爬虫有window.document对象，在浏览器端的爬虫即使是二次发送ajax，也不需要学后端爬虫来构造一堆请求头，特别是困难的cookie token。最为重要的还是天然的突破了ip限制。   提取个人信息，直接使用页面渲染后的结构...
运营商数据自动抓取实现
mokeily99的博客
09-05 1384
移动、电信、联通策略、产品等爬虫
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值