一个简单的抓取百度热度数据并可视化的demo

我的B站账号~

番茄爱大米 ，可以关注下嗷~

可视化工具

https://github.com/Jannchie/Historical-ranking-data-visualization-based-on-d3.js

比如抓取2011-2020 100多位日本女星的百度热度数据

female_japanese_hot_rank.py

from get_index import BaiduIndex
import csv
# 可以 from get_extended import BaiduIndex 使用爬取媒体指数和咨询指数的爬虫，然后自己看一下初始化类时的参数

if __name__ == "__main__":
    """
    可以传入很多关键词
    """
    # 查看城市和省份的对应代码
    print(BaiduIndex.city_code)
    print(BaiduIndex.province_code)
    import sys
    print(sys.getdefaultencoding())


    # main
    name_string = '''水原希子 池田依来沙 石原里美 伊丹爱莉 水崎绫女 樱庭奈奈美 真野惠里菜 松冈李那 Kiki Sukezan 深津绘里 木内舞留 rola 葵若菜 日笠阳子 星名利华 若村麻由美 入山法子 Vnna 日向奈奈美 清水爱 
                    板野友美 今野杏南 冨手麻妙 冈本多绪 筱崎爱 星名美津纪 桥本环奈 费沁源 藤井美菜 长泽雅美 高桥纱妃 桥本爱 天海佑希 未来穗香 二阶堂富美 相泽侑我 菊地凛子 武田玲奈 白石麻衣 滨边美波 福岛莉拉 
                    佐野雏子 武田梨奈 优希美青 上白石萌音 桐谷美玲 铃木梨央 菜菜绪 渡边直美 斋藤飞鸟 山本美月 新垣结衣 中条彩未 户田惠梨香 川荣李奈 竹富圣花 上户彩 葉月星美 小松菜奈 松冈茉优 有村架纯 伊藤梨沙子 井上朋子 谷花音 高山南 宫原华音 
                    志尊淳 深田恭子 山本舞香 广濑铃 忽那汐里 松井爱莉 池胁千鹤 多部未华子 前田敦子 水野索诺娅 滨田心音 吉田羊 黑木瞳 田中真弓 安藤樱 米仓凉子 原凉子 藤本七海 美沙玲奈 山谷花纯 林原惠美 北川景子 饭丰万理江 吉高由里子 
                    泽尻绘里香 满岛光 小山内花凛 黑木华 上原实矩 山崎纮菜 佐佐木希 早见朱莉 井上真央 富田美忧 樱井由纪 小池荣子 真飞圣 松本若菜 川上朱莉杏 冈村明美 野村麻纯 泉品子 木村文乃 山崎和佳奈 西村知美 河井青叶 内藤里沙 刚力彩芽 
                    土屋太凤 悠木碧 田中日南乃 大谷育江 佐藤麻衣 杉咲花 新木优子 渡边麻友 木村绿子 尾野真千子 山口由里子 中野良子 宫泽理惠 铃木优华 志村玲那 木村叶月 竹内结子 门胁麦 小芝风花 松峰莉璃 片濑那奈 千田爱纱 高畑淳子 本田翼 
                    真木阳子 高畑充希 三浦璃那 小栗有以 高梨临 余贵美子 江野沢爱美 米姆拉 铃木保奈美 横山惠 香椎由宇 小山茉美 平祐奈 比嘉爱未 仓科加奈 木村佳乃 绫濑遥 上白石萌歌 市川实日子 千眼美子 野波麻帆 吉永小百合 坂本真绫 柴崎幸 
                    西野七濑 滨崎步 井上喜久子 阿部菜渚美 黑岛结菜 三石琴乃 山田望叶 优香 大原樱子 波瑠 大原惠 早见沙织 稻森泉 西内玛利亚 奥仲麻琴 水田山葵 石田百合子 小岛圣 佐佐木心音 杉原杏璃 岩佐真悠子 玉城Tina 岛崎遥香 miwa 橘梨纱 
                    大岛优子 小嶋阳菜 花泽香菜 AKB48 柳友里菜 魏凉子 森尚子 莲佛美沙子 三瓶由布子 吉濑美智子 坛蜜 川口春奈 嘉数由美 樋口可南子 比留川游 黑木明纱 清水久留巳 桃井薰 成海璃子 菊池心 浅川梨奈 板谷由夏 筱原凉子 
                    松隆子 相武纱季 石桥杏奈 藤谷文子 内田有纪 小林凉子 白石凉子 早见明里 永野芽郁 森宽和 堀北真希 中村杏 片山萌美 菊川怜 竹内顺子 大友花恋 木村光希 武井咲 藤本泉 原田夏希 松井玲奈 宫崎葵 福原爱 上野树里 千秋 石井薇子 水树奈奈 
                    折笠富美子 樱井日奈子 石野真子 泽城美雪 矢岛晶子 石井杏奈 藏下穗波 阶户瑠李 能年玲奈 芦田爱菜 志田友美 志田未来 夏菜 麻生佑未 福原遥 松雪泰子 茅野爱衣 中川翔子 渡边菜生子 吉行和子 松川星 田中美佐子 田中丽奈 小林星兰 马渕英俚可 
                    小林喜名子 菅野美穗 伊藤加奈惠 生田绘梨花 杉本有美 山本彩 伊藤夏帆 渡边真起子 松坂庆子 渡边佑太朗 丰崎爱生 小泉今日子 逢泽莉娜 坂本千夏 堀内敬子 平手友梨奈 篠田麻里子 松下奈绪 臼田麻美 畑野浩子 源利华 安达佑实 八千草薫 桑谷夏子 森川葵 檀丽 夏目三久 白石美帆 
                    由加奈 吉冈里帆 中村千绘 峰村理惠 铃木京香 藤原纪香 广濑爱丽丝 坂井真纪 浅田真央'''

    keywords = name_string.split()

    baidu_index = BaiduIndex(keywords, '2011-01-01', '2020-03-16')
    with open('female_japan.csv', mode='w') as csv_file:
        fieldnames = ['name', 'type', 'value','date']
        writer = csv.DictWriter(csv_file, fieldnames=fieldnames,lineterminator='\n')
        writer.writeheader()
        for index in baidu_index.get_index():
            if index['type'] == 'all' and str(index['date']).endswith('2'):
                writer.writerow({'name': index['keyword'], 'value': index['index'],'date': index['date']})

config.py

COOKIES ='Cookie: BIDUPSID=3B724A614E661778DCC0031549E9B20A; PSTM=1577001150; BAIDUID=3B724A614E66177875BF3DBF0E82344F:FG=1; BD_UPN=12314353; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; sug=3; ORIGIN=0; bdime=0; BD_HOME=1; delPer=0; BD_CK_SAM=1; PSINO=1; COOKIE_SESSION=460_0_9_4_19_9_0_0_4_8_5_0_461_0_4_0_1585141900_0_1585141904%7C9%230_0_1584803198%7C1; BDUSS=plWk5uOWpZMnpnNUQybnZCaEZyZzJNd1F6WFd-VkNlQXBZVGFFSDJndzA4YUplRUFBQUFBJCQAAAAAAAAAAAEAAABaIIUzzqjSu0LJ8bGl4MMAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAADRke140ZHteYX; H_PS_PSSID=30973_1467_21105_30908_30824_31086; sugstore=0'



PROVINCE_CODE = {'山东': '901', '贵州': '902', '江西': '903', '重庆': '904', '内蒙古': '905', '湖北': '906', '辽宁': '907', '湖南': '908', '福建': '909', '上海': '910', '北京': '911', '广西': '912', '广东': '913', '四川': '914', '云南': '915', '江苏': '916', '浙江': '917', '青海': '918', '宁夏': '919', '河北': '920', '黑龙江': '921', '吉林': '922', '天津': '923', '陕西': '924', '甘肃': '925', '新疆': '926', '河南': '927', '安徽': '928', '山西': '929', '海南': '930', '台湾': '931', '西藏': '932', '香港': '933', '澳门': '934'}

CITY_CODE = {'广州': '95', '深圳': '94', '东莞': '133', '云浮': '195', '佛山': '196', '湛江': '197', '江门': '198', '惠州': '199', '珠海': '200', '韶关': '201', '阳江': '202', '茂名': '203', '潮州': '204', '揭阳': '205', '中山': '207', '清远': '208', '肇庆': '209', '河源': '210', '梅州': '211', '汕头': '212', '汕尾': '213', '郑州': '168', '南阳': '262', '新乡': '263', '开封': '264', '焦作': '265', '平顶山': '266', '许昌': '268', '安阳': '370', '驻马店': '371', '信阳': '373', '鹤壁': '374', '周口': '375', '商丘': '376', '洛阳': '378', '漯河': '379', '濮阳': '380', '三门峡': '381', '济源': '667', '成都': '97', '宜宾': '96', '绵阳': '98', '广元': '99', '遂宁': '100', '巴中': '101', '内江': '102', '泸州': '103', '南充': '104', '德阳': '106', '乐山': '107', '广安': '108', '资阳': '109', '自贡': '111', '攀枝花': '112', '达州': '113', '雅安': '114', '眉山': '291', '甘孜': '417', '阿坝': '457', '凉山': '479', '南京': '125', '苏州': '126', '无锡': '127', '连云港': '156', '淮安': '157', '扬州': '158', '泰州': '159', '盐城': '160', '徐州': '161', '常州': '162', '南通': '163', '镇江': '169', '宿迁': '172', '武汉': '28', '黄石': '30', '荆州': '31', '襄阳': '32', '黄冈': '33', '荆门': '34', '宜昌': '35', '十堰': '36', '随州': '37', '恩施': '38', '鄂州': '39', '咸宁': '40', '孝感': '41', '仙桃': '42', '天门': '73', '潜江': '74', '神农架': '687', '杭州': '138', '丽水': '134', '金华': '135', '温州': '149', '台州': '287', '衢州': '288', '宁波': '289', '绍兴': '303', '嘉兴': '304', '湖州': '305', '舟山': '306', '福州': '50', '莆田': '51', '三明': '52', '龙岩': '53', '厦门': '54', '泉州': '55', '漳州': '56', '宁德': '87', '南平': '253', '哈尔滨': '152', '大庆': '153', '伊春': '295', '大兴安岭': '297', '黑河': '300', '鹤岗': '301', '七台河': '302', '齐齐哈尔': '319', '佳木斯': '320', '牡丹江': '322', '鸡西': '323', '绥化': '324', '双鸭山': '359', '济南': '1', '滨州': '76', '青岛': '77', '烟台': '78', '临沂': '79', '潍坊': '80', '淄博': '81', '东营': '82', '聊城': '83', '菏泽': '84', '枣庄': '85', '德州': '86', '威海': '88', '济宁': '352', '泰安': '353', '莱芜': '356', '日照': '366', '西安': '165', '铜川': '271', '安康': '272', '宝鸡': '273', '商洛': '274', '渭南': '275', '汉中': '276', '咸阳': '277', '榆林': '278', '延安': '401', '石家庄': '141', '衡水': '143', '张家口': '144', '承德': '145', '秦皇岛': '146', '廊坊': '147', '沧州': '148', '保定': '259', '唐山': '261', '邯郸': '292', '邢台': '293', '沈阳': '150', '大连': '29', '盘锦': '151', '鞍山': '215', '朝阳': '216', '锦州': '217', '铁岭': '218', '丹东': '219', '本溪': '220', '营口': '221', '抚顺': '222', '阜新': '223', '辽阳': '224', '葫芦岛': '225', '长春': '154', '四平': '155', '辽源': '191', '松原': '194', '吉林': '270', '通化': '407', '白山': '408', '白城': '410', '延边': '525', '昆明': '117', '玉溪': '123', '楚雄': '124', '大理': '334', '昭通': '335', '红河': '337', '曲靖': '339', '丽江': '342', '临沧': '350', '文山': '437', '保山': '438', '普洱': '666', '西双版纳': '668', '德宏': '669', '怒江': '671', '迪庆': '672', '乌鲁木齐': '467', '石河子': '280', '吐鲁番': '310', '昌吉': '311', '哈密': '312', '阿克苏': '315', '克拉玛依': '317', '博尔塔拉': '318', '阿勒泰': '383', '喀什': '384', '和田': '386', '巴音郭楞': '499', '伊犁': '520', '塔城': '563', '克孜勒苏柯尔克孜': '653', '五家渠': '661', '阿拉尔': '692', '图木舒克': '693', '南宁': '90', '柳州': '89', '桂林': '91', '贺州': '92', '贵港': '93', '玉林': '118', '河池': '119', '北海': '128', '钦州': '129', '防城港': '130', '百色': '131', '梧州': '132', '来宾': '506', '崇左': '665', '太原': '231', '大同': '227', '长治': '228', '忻州': '229', '晋中': '230', '临汾': '232', '运城': '233', '晋城': '234', '朔州': '235', '阳泉': '236', '吕梁': '237', '长沙': '43', '岳阳': '44', '衡阳': '45', '株洲': '46', '湘潭': '47', '益阳': '48', '郴州': '49', '湘西': '65', '娄底': '66', '怀化': '67', '常德': '68', '张家界': '226', '永州': '269', '邵阳': '405', '南昌': '5', '九江': '6', '鹰潭': '7', '抚州': '8', '上饶': '9', '赣州': '10', '吉安': '115', '萍乡': '136', '景德镇': '137', '新余': '246', '宜春': '256', '合肥': '189', '铜陵': '173', '黄山': '174', '池州': '175', '宣城': '176', '巢湖': '177', '淮南': '178', '宿州': '179', '六安': '181', '滁州': '182', '淮北': '183', '阜阳': '184', '马鞍山': '185', '安庆': '186', '蚌埠': '187', '芜湖': '188', '亳州': '391', '呼和浩特': '20', '包头': '13', '鄂尔多斯': '14', '巴彦淖尔': '15', '乌海': '16', '阿拉善盟': '17', '锡林郭勒盟': '19', '赤峰': '21', '通辽': '22', '呼伦贝尔': '25', '乌兰察布': '331', '兴安盟': '333', '兰州': '166', '庆阳': '281', '定西': '282', '武威': '283', '酒泉': '284', '张掖': '285', '嘉峪关': '286', '平凉': '307', '天水': '308', '白银': '309', '金昌': '343', '陇南': '344', '临夏': '346', '甘南': '673', '海口': '239', '万宁': '241', '琼海': '242', '三亚': '243', '儋州': '244', '东方': '456', '五指山': '582', '文昌': '670', '陵水': '674', '澄迈': '675', '乐东': '679', '临高': '680', '定安': '681', '昌江': '683', '屯昌': '684', '保亭': '686', '白沙': '689', '琼中': '690', '贵阳': '2', '黔南': '3', '六盘水': '4', '遵义': '59', '黔东南': '61', '铜仁': '422', '安顺': '424', '毕节': '426', '黔西南': '588', '银川': '140', '吴忠': '395', '固原': '396', '石嘴山': '472', '中卫': '480', '西宁': '139', '海西': '608', '海东': '652', '玉树': '659', '海南': '676', '海北': '682', '黄南': '685', '果洛': '688', '拉萨': '466', '日喀则': '516', '那曲': '655', '林芝': '656', '山南': '677', '昌都': '678', '阿里': '691'}