爬中国联通

#coding=utf8
import requests
class ChinaUnicom(object):

    headerx={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'}
    login_url='https://uac.10010.com/portal/Service/MallLogin'
    info_url='https://uac.10010.com/cust/infomgr/anonymousInfoAJAX'

    def __init__(self,phone,server_passwd):
        self.ss=requests.session()
        self.phone=phone
        self.server_passwd=server_passwd

    def login(self):

        datax={
        'callback':'jQuery17208315958887266249_1502520335284',
        'req_time':'1502520347528',
        'redirectURL':'http://www.10010.com',
        'userName':self.phone,
        'password':self.server_passwd,
        'pwdType':'01',
        'productType':'01',
        'redirectType':01,
        'rememberMe':1,
        '_':'1502520347531',
        }

        self.ss.get(self.login_url,params=datax,headers=self.headerx)  ##可以不要真实浏览器ua

    def get_infomgrInit(self):
        '''获取个人信息'''
        resp=self.ss.post(self.info_url)
        return resp.content

if __name__=="__main__":
    cu=ChinaUnicom(1314880xxxx,37xxxx)
    cu.login()
    print cu.get_infomgrInit()

 

先登录再爬取。

 

关于时间戳,就我见过的淘宝 联通 房天下和一些杂七杂八的网站来看,时间戳基本是不造成任何影响,请求参数中直接用一个固定的时间戳也没关系,如果你喜欢你也可以用time.time()来获得时间戳。

 

 

20170921:登录现在的header里面要加入refer,否则返回9974.

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【知识准备】 探索性数据分析的基本原理和方法;Python语言及相关包的运用;Pandas;Numpy;Matplotlib;Seaborn;Scikit-Leart。 【实训要求】 1、观察样本数据的结构和数据特征; 2、读取样本数据,观察样本数据结构和头尾各10行数据; 3、对样本数据进行分析,找出业务数据中的分布规律; 4、用可视化方法对分析结果进行展示。 5、观察并找出每个特征的样本数据的缺失值和异常值等并提出解决办法; 6、对样本数据进行预处理; 7、采集样本数据存入HBase数据库(选)。 【实训内容】 任务2-1 1、数据源:“sodadata”文件夹下“联通数据_Sample”。 2、项目数据集: 表一结果_Sample_1000条.csv 表二结果_Sample_1000条.csv 3、针对表一样本数据: (1)分析并展示不同时间段采样的基站服务区内移动用户的活跃度分布; (2)分析并展示服务区内移动用户工作时间和休息时间的活跃度分布,筛选出当地居民和外来移动用户; (3)分析用户活动规律,根据其通信特点进行分类。(选做) 4、针对表二样本数据: (1)分析并展示样本数据中年龄、性别、终端品牌等各类数据的分布规律; (2)分析缺失和异常数据,提出处理预处理方案; (3)筛选高价值重点用户(提示:从业务量或消费等方面思考); (4)如果表一和表二从相同的服务区采集,请思考并提出你的进一步分析方案和商业营销方案。(选做) 5、用Jupyter Notebook根据实训要求编写程序和文档,最终结果打印输出为PDF文档;

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值