python获取自己发的说说内容

翻译 2017年08月06日 19:59:25

  一、模拟登陆

import re
from selenium import webdriver
from time import sleep
from PIL import Image

#定义QQ空间登录函数
def QR_login():
    def getGTK(cookie):
        """ 根据cookie得到GTK """
        hashes = 5381
        for letter in cookie['p_skey']:
            hashes += (hashes << 5) + ord(letter)

        return hashes & 0x7fffffff
    browser=webdriver.PhantomJS(executable_path="D:\python\phantomjs.exe")#这里要输入你的phantomjs所在的路径
    url="https://qzone.qq.com/"#QQ登录网址
    browser.get(url)
    browser.maximize_window()#全屏
    sleep(3)#等三秒
    browser.get_screenshot_as_file('QZone.png')#截屏并保存图片
    im = Image.open('QZone.png')#打开图片
    im.show()#用手机扫二维码登录qq空间
    sleep(10)#等二十秒,可根据自己的网速和性能修改
    print(browser.title)#打印网页标题
    cookie = {}#初始化cookie字典
    for elem in browser.get_cookies():#取cookies
        cookie[elem['name']] = elem['value']
    print('Get the cookie of QQlogin successfully!(共%d个键值对)' % (len(cookie)))
    html = browser.page_source#保存网页源码
    print(html)
    g_qzonetoken=re.search(r'window\.g_qzonetoken = \(function\(\)\{ try\{return (.*?);\} catch\(e\)',html)#从网页源码中提取g_qzonetoken
    gtk=getGTK(cookie)#通过getGTK函数计算gtk
    browser.quit()
    return (cookie,gtk,g_qzonetoken.group(1))
if __name__=="__main__":
    QR_login()

 二、评论获取

import requests
import re
import datetime
from time import sleep
from urllib import parse


def comment(my_qq, target_qq, topicid, content, gtk, qzonetoken, cookie):
    data = {
        'qzreferrer': 'https://qzs.qq.com/qzone/app/mood_v6/html/index.html#mood&uin=790178228&pfid=2&qz_ver=8&appcanvas=0&qz_style=35¶ms=&entertime=1498019616488&canvastype=&cdn_use_https=1',
        'uin': my_qq,
        'hostUin': target_qq,
        'topicId': topicid,
        'commentUin': my_qq,
        'content': content,
        'richval': '',
        'richtype': '',
        'inCharset': '',
        'outCharset': '',
        'ref': '',
        'private': '0',
        'with_fwd': '0',
        'to_tweet': '0',
        'hostuin': my_qq,
        'code_version': '1',
        'format': 'fs'
    }
    comment_data = parse.urlencode(data)
    content_length = str(data)
    comment_params = {
        'g_tk': gtk,
        'qzonetoken': qzonetoken
    }
    comment_headers = {
        'Host': 'h5.qzone.qq.com',
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:53.0) Gecko/20100101 Firefox/53.0',
        'Accept': '*/*',
        'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
        'Accept-Encoding': 'gzip, deflate, br',
        'Connection': 'keep-alive',
        'Content-Type': 'application/x-www-form-urlencoded',
        'Content-Length': content_length,
        'Upgrade-Insecure-Requests': '1'
    }

    res = s.request('POST',
                    'https://h5.qzone.qq.com/proxy/domain/taotao.qzone.qq.com/cgi-bin/emotion_cgi_addcomment_ugc',
                    params=comment_params, data=comment_data, headers=comment_headers, cookies=cookie)
    print(res.status_code)
    res = res.text
    print(res)
    commentid = re.findall('"id":(.*?),"postTime"', res)
    if commentid:
        f = open('target_qq.txt', 'a')
        f.write(str(topicid))
        f.write('  ')
        f.write(str(commentid[0]))
        f.write('\n')
        f.close()
        print('评论成功')
        return True
    else:
        print('评论失败')
        return False


headers = {
    'Host': 'h5.qzone.qq.com',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:53.0) Gecko/20100101 Firefox/53.0',
    'Accept': '*/*',
    'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
    'Accept-Encoding': 'gzip, deflate, br',
    'Referer': 'https://user.qzone.qq.com/790178228?_t_=0.22746974226377736',
    'Connection': 'keep-alive'
}

cookie = {'QZ_FE_WEBP_SUPPORT': '0', 'ptcz': '7cac1c7521b1ad8be9b1489f9b0aaba8efe9500f0f5dcb7693a9f693d37a8dff',
          'fnc': '2', 'skey': '@F6CRfhQVd', 'pgv_si': 's493469696', 'ptui_loginuin': '790178228', 'RK': 'gYFn6+IOYo',
          'pt2gguin': 'o0790178228', 'p_uin': 'o0790178228',
          'rv2': '808A93A64B1A6FC5AE6D906AB5E744B38AF1EAA4163EC57A76', 'ptisp': 'ctc',
          'p_skey': '5Iv6LkqOjJH*JPtrq0xqZmVlBNkbKLCRcDasiGGq71w_', '_qpsvr_localtk': '0.6656868932768703',
          'pgv_pvi': '7208859648', '790178228_todaycount': '4', '__Q_w_s_hat_seed': '1',
          '790178228_totalcount': '24703', 'pgv_pvid': '1698820840', 'qz_screen': '1366x768',
          'pt4_token': 'WeiGzJbrn*TO4HO4FFXRdiD3SpXE2UqW2Litsm-TZPw_', 'pgv_info': 'ssid=s6237051136',
          'uin': 'o0790178228', 'Loading': 'Yes',
          'property20': '9D827FD9F839B247CF95AA1787B450E4D22D6C9F2A76DC8C4D27798667EBB92CA7122514560889AF'}
gtk =""
qzonetoken =""
s = requests.session()
my_qq =""
target_qq =""
content = '加油!'
cnt = 0
for page in range(0, 170):
    pos = page * 20
    params = {
        'uin': target_qq,
        'ftype': '0',
        'sort': '0',
        'pos': pos,
        'num': '20',
        'replynum': '100',
        'g_tk': gtk,
        'callback': '_preloadCallback',
        'code_version': '1',
        'format': 'jsonp',
        'need_private_comment': '1',
        'qzonetoken': qzonetoken
    }

    response = s.request('GET', 'https://h5.qzone.qq.com/proxy/domain/taotao.qq.com/cgi-bin/emotion_cgi_msglist_v6',
                         params=params, headers=headers, cookies=cookie)
    print(response.status_code)

    text = response.text
    if not re.search('lbs', text):
        print('全部说说评论完成,共添加评论%s条' % cnt)
        exit()
    textlist = re.split('\{"certified"', text)[0:]
    for i in range(1, len(textlist)):
        text = re.sub('"commentlist":.*?"conlist":', '', textlist[i])
        tid = re.findall('"t1_termtype":.*?"tid":"(.*?)"', text)[0]
        topicid = target_qq + '_' + str(tid)
        print(topicid)
        counts = comment(my_qq=my_qq, target_qq=target_qq, content=content, topicid=topicid, gtk=gtk,
                         qzonetoken=qzonetoken, cookie=cookie)
        sleep(180)
        if counts == True:
            cnt = cnt + 1

 二、数据抓取存入数据库

import requests
import re
import datetime
import pymysql
import csv
from qq_mood.qq import QRlogin


def parse_mood(i):
    '''从返回的json中,提取我们想要的字段'''
    text = re.sub('"commentlist":.*?"conlist":', '', i)
    if text:
        myMood = {}
        myMood["isTransfered"] = False
        tid = re.findall('"t1_termtype":.*?"tid":"(.*?)"', text)[0]  # 获取说说ID
        tid = qq + '_' + tid
        myMood['id'] = tid
        myMood['pos_y'] = 0
        myMood['pos_x'] = 0
        mood_cont = re.findall('\],"content":"(.*?)"', text)
        if re.findall('},"name":"(.*?)",', text):
            name = re.findall('},"name":"(.*?)",', text)[0]
            myMood['name'] = name
        if len(mood_cont) == 2:  # 如果长度为2则判断为属于转载
            myMood["Mood_cont"] = "评语:" + mood_cont[0] + "--------->转载内容:" + mood_cont[1]  # 说说内容
            myMood["isTransfered"] = True
        elif len(mood_cont) == 1:
            myMood["Mood_cont"] = mood_cont[0]
        else:
            myMood["Mood_cont"] = ""
        if re.findall('"created_time":(\d+)', text):
            created_time = re.findall('"created_time":(\d+)', text)[0]
            temp_pubTime = datetime.datetime.fromtimestamp(int(created_time))
            temp_pubTime = temp_pubTime.strftime("%Y-%m-%d %H:%M:%S")
            dt = temp_pubTime.split(' ')
            time = dt[1]
            myMood['time'] = time
            date = dt[0]
            myMood['date'] = date
        if re.findall('"source_name":"(.*?)"', text):
            source_name = re.findall('"source_name":"(.*?)"', text)[0]  # 获取发表的工具(如某手机)
            myMood['tool'] = source_name
        if re.findall('"pos_x":"(.*?)"', text):
            pos_x = re.findall('"pos_x":"(.*?)"', text)[0]
            pos_y = re.findall('"pos_y":"(.*?)"', text)[0]
            if pos_x:
                myMood['pos_x'] = pos_x
            if pos_y:
                myMood['pos_y'] = pos_y
            idname = re.findall('"idname":"(.*?)"', text)[0]
            myMood['idneme'] = idname
            cmtnum = re.findall('"cmtnum":(.*?),', text)[0]
            myMood['cmtnum'] = cmtnum
        return myMood
#从csv文件中取qq号,并保存在一个列表中
csv_reader = csv.reader(open('qq.csv'))
friend=[]
for row in csv_reader:
    friend.append(row[3])
friend.pop(0)
friends=[]
for f in friend:
    f=f[:-7]
    friends.append(f)
headers={
    'Host': 'h5.qzone.qq.com',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:53.0) Gecko/20100101 Firefox/53.0',
    'Accept': '*/*',
    'Accept-Language':'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
    'Accept-Encoding': 'gzip, deflate, br',
    'Referer': 'https://user.qzone.qq.com/790178228?_t_=0.22746974226377736',
    'Connection':'keep-alive'
}#伪造浏览器头
conn = pymysql.connect('localhost', 'root', 'root', 'test', charset="utf8", use_unicode=True)#连接mysql数据库
cursor = conn.cursor()#定义游标

cookie,gtk,qzonetoken=QRlogin.QR_login() #通过登录函数取得cookies,gtk,qzonetoken
s=requests.session()#用requests初始化会话
for qq in friends:#遍历qq号列表
    for p in range(0,10):
        pos=p*20
        params={
        'uin':qq,
        'ftype':'0',
        'sort':'0',
        'pos':pos,
        'num':'20',
        'replynum':'100',
        'g_tk':gtk,
        'callback':'_preloadCallback',
        'code_version':'1',
        'format':'jsonp',
        'need_private_comment':'1',
        'qzonetoken':qzonetoken
        }
        response=s.request('GET','https://h5.qzone.qq.com/proxy/domain/taotao.qq.com/cgi-bin/emotion_cgi_msglist_v6',params=params,headers=headers,cookies=cookie)
        print(response.status_code)  #通过打印状态码判断是否请求成功
        text=response.text   #读取响应内容
        print(text)
        if not re.search('lbs', text):#通过lbs判断此qq的说说是否爬取完毕
            print('%s说说下载完成'% qq)
            break
        textlist = re.split('\{"certified"', text)[1:]
        for i in textlist:
            myMood=parse_mood(i)
            '''将提取的字段值插入mysql数据库,通过用异常处理防止个别的小bug中断爬虫,开始的时候可以先不用异常处理判断是否能正常插入数据库'''
            try:
                insert_sql = '''
                           insert into mood(id,content,time,sitename,pox_x,pox_y,tool,comments_num,date,isTransfered,name)
                           VALUES (%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)
                        '''
                cursor.execute(insert_sql, (myMood['id'],myMood["Mood_cont"],myMood['time'],myMood['idneme'],myMood['pos_x'],myMood['pos_y'],myMood['tool'],myMood['cmtnum'],myMood['date'],myMood["isTransfered"],myMood['name']))
                conn.commit()
            except:
                pass

print('说说全部下载完成!')

三、结果展示



引用于: https://zhuanlan.zhihu.com/p/27604277

【开源】爬取QQ空间说说及简易数据分析

前几天,一直在学习爬虫,然后最近想到了一个不错的idea,想以这个小demo来结束爬虫的学习。        是这样的:登入qq空间,爬取自己或者好友的所有说说记录,然后区统计分析一共发了多少说说,每...
  • C_son
  • C_son
  • 2015年02月14日 17:48
  • 9551

Android 之实现类似QQ图片说说照片选择

Android 之实现类似QQ图片说说照片选择转载请注明出处:http://blog.csdn.net/klxh2009/ 本文出自【付小华的博客】 效果展示 布局文件 代码实现 效果展示 布局文件...
  • klxh2009
  • klxh2009
  • 2016年04月26日 22:12
  • 3812

jquery实现qq空间发表说说模板

腾讯技术_QQ空间说说发表系统             *{margin:0px; padding:0px;} body{background:url('img/...
  • luo1728210158
  • luo1728210158
  • 2016年06月25日 22:20
  • 446

仿QQ写说说效果的实现

今天同学问了关于仿QQ写说说界面的实现,个人感觉就是如同评论,回复的那种效果,按捺不住,就仿写了一回,大家不要见笑啊首先,我们需要根据需求进行分析这里我们看见刚进入的时候不显示键盘跟被键盘顶起的布局,...
  • qq_16131393
  • qq_16131393
  • 2016年03月20日 00:54
  • 2793

我悄悄告诉你:怎样用jquery制作腾讯QQ空间说说发表效果

经常发说说的朋友对这效果很熟悉吧,对的,就是空间说说发表,每天发说说是这样发,但是怎么做到的呢,今天分享的就是这个,用jquery来制作这个效果,下面来看代码。...
  • qq_39345165
  • qq_39345165
  • 2017年11月12日 15:14
  • 219

如何做一个类似QQ说说体系的表结构(一)

如何做一个类似QQ说说体系的表结构 分析首先用户是一个单独表,包括用户基本信息。 对于说说表,可以包括一些基本的信息,包括说说文字、发表日期、发表地点、浏览次数、点赞数等。但是,说说中的图片不能放...
  • wgyscsf
  • wgyscsf
  • 2016年03月19日 12:09
  • 1452

类似qq发说说的查看全文和收起

package com.example.shangcheng.adapter;import android.content.Context; import android.support.v7.wid...
  • xiaoshitounan
  • xiaoshitounan
  • 2017年03月06日 13:03
  • 309

Android 发表说说一般用到的界面布局

OK, 看到这里应该明白我标题的意思了吧.哈哈. 首先, 来个布局(activity_select_pic.xml) ? 1 2 3 4 ...
  • zdmxhyy
  • zdmxhyy
  • 2016年01月12日 16:56
  • 1427

爬取并分析QQ好友的说说

写在前面当你寂寞而闲着没有什么事可以干的时候,你就会好奇,别人正在交流什么。这个自己的小项目就是上一年(16年)的双11期间,别人都在陪人,或者打算买什么东西,我却在一个人。敲。代。。码。。。...
  • u014271114
  • u014271114
  • 2017年02月10日 21:02
  • 2086

设置QQ空间评论回复权限,包括日志、相册、说说、留言板的评论回复和留言权限,限制名单成员无评论回复权限

网上面的方法都不可行,因为QQ空间改版了,最新版的根本找不到这些设置,但被我误打误撞发现了,撒花!【问题阐述】设置QQ空间评论回复权限,包括日志、相册、说说、留言板的评论回复和留言权限,限制名单成员无...
  • LYJ_viviani
  • LYJ_viviani
  • 2017年02月21日 12:45
  • 7577
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:python获取自己发的说说内容
举报原因:
原因补充:

(最多只允许输入30个字)