既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
"value": 4459
},
{
"name": "湘西",
"value": 35582
},
{
"name": "宜兰",
"value": 868
},
{
"name": "宜春",
"value": 106453
},
{
"name": "济源",
"value": 3730
},
{
"name": "常德",
"value": 60603
},
{
"name": "昆山",
"value": 14
},
{
"name": "四平",
"value": 72288
},
{
"name": "梅州",
"value": 84115
},
{
"name": "红河",
"value": 62677
},
{
"name": "莱州",
"value": 2
},
{
"name": "金昌",
"value": 18695
},
{
"name": "玉环",
"value": 7
},
{
"name": "阿勒泰",
"value": 25001
},
{
"name": "云林",
"value": 245
},
{
"name": "彰化",
"value": 1493
},
{
"name": "梧州",
"value": 54510
},
{
"name": "贵港",
"value": 87421
},
{
"name": "蓬莱",
"value": 7
},
{
"name": "余姚",
"value": 8
},
{
"name": "唐山",
"value": 185652
},
{
"name": "安顺",
"value": 71378
},
{
"name": "瑞安",
"value": 4
},
{
"name": "博尔塔拉",
"value": 18801
},
{
"name": "仙桃",
"value": 3421
},
{
"name": "齐齐哈尔",
"value": 102513
},
{
"name": "兴城",
"value": 1
},
{
"name": "个旧",
"value": 3
},
{
"name": "新乐",
"value": 1
},
{
"name": "池州",
"value": 28860
},
{
"name": "招远",
"value": 4
},
{
"name": "沈阳",
"value": 365337
},
{
"name": "宁波",
"value": 331901
},
{
"name": "七台河",
"value": 17896
},
{
"name": "大同",
"value": 69158
},
{
"name": "",
"value": 103104
},
{
"name": "六盘水",
"value": 97941
},
{
"name": "湛江吴川",
"value": 1
},
{
"name": "湘西土家族苗族自治州",
"value": 273
},
{
"name": "固原",
"value": 27618
},
{
"name": "通化",
"value": 53376
},
{
"name": "福鼎",
"value": 3
},
{
"name": "\\N",
"value": 43900
},
{
"name": "防城港",
"value": 33483
},
{
"name": "大兴安岭",
"value": 9957
},
{
"name": "西安",
"value": 483001
},
{
"name": "南阳",
"value": 198209
},
{
"name": "茂名",
"value": 88878
},
{
"name": "张家口",
"value": 107397
},
{
"name": "赣州",
"value": 161595
},
{
"name": "桂林",
"value": 125532
},
{
"name": "北区",
"value": 2
},
{
"name": "诸暨",
"value": 1
},
{
"name": "运城",
"value": 216181
},
{
"name": "丹东",
"value": 78563
},
{
"name": "张掖",
"value": 56638
},
{
"name": "淄博",
"value": 190065
},
{
"name": "海门",
"value": 9
},
{
"name": "廊坊",
"value": 176743
},
{
"name": "甘南",
"value": 21298
},
{
"name": "平凉",
"value": 51979
},
{
"name": "巴音郭楞蒙古自治州",
"value": 1
},
{
"name": "沧州",
"value": 232646
},
{
"name": "毕节",
"value": 133659
},
{
"name": "乌兰察布",
"value": 44915
},
{
"name": "百色",
"value": 80859
},
{
"name": "汕头",
"value": 90525
},
{
"name": "苗栗",
"value": 2804
},
{
"name": "长治",
"value": 87575
},
{
"name": "楚雄",
"value": 52923
},
{
"name": "延边",
"value": 71577
},
{
"name": "伊春",
"value": 23486
},
{
"name": "台东",
"value": 1812
},
{
"name": "连江",
"value": 2504
},
{
"name": "涿州",
"value": 1
},
{
"name": "台北",
"value": 2664
},
{
"name": "永济",
"value": 6
},
{
"name": "如皋",
"value": 18
},
{
"name": "南平",
"value": 69163
},
{
"name": "兴安盟",
"value": 29136
},
{
"name": "东营",
"value": 102950
},
{
"name": "郴州",
"value": 67193
},
{
"name": "连云港",
"value": 124099
},
{
"name": "十堰",
"value": 76953
},
{
"name": "邵武",
"value": 3
},
{
"name": "永康",
"value": 11
},
{
"name": "阜阳",
"value": 134105
},
{
"name": "海南",
"value": 12363
},
{
"name": "中山",
"value": 220405
},
{
"name": "石嘴山",
"value": 20943
},
{
"name": "安阳",
"value": 137007
},
{
"name": "辽源",
"value": 24345
},
{
"name": "娄底",
"value": 47728
},
{
"name": "朝阳",
"value": 96081
},
{
"name": "来宾",
"value": 48133
},
{
"name": "锡林郭勒盟",
"value": 30830
},
{
"name": "克孜勒苏柯尔克孜自治州",
"value": 1
},
{
"name": "扬州",
"value": 178676
},
{
"name": "汉中",
"value": 77816
},
{
"name": "马鞍山",
"value": 51262
},
{
"name": "佳木斯",
"value": 65312
},
{
"name": "太原",
"value": 225524
},
{
"name": "乌鲁木齐",
"value": 210305
},
{
"name": "淮安",
"value": 143911
},
{
"name": "临沂",
"value": 303072
},
{
"name": "白山",
"value": 32733
},
{
"name": "花莲",
"value": 7048
},
{
"name": "九龙",
"value": 621
},
{
"name": "辛集",
"value": 5
},
{
"name": "绵阳",
"value": 145249
},
{
"name": "海北",
"value": 7581
},
{
"name": "西宁",
"value": 98399
},
{
"name": "乐山",
"value": 61810
},
{
"name": "阳江",
"value": 41090
},
{
"name": "澳门半岛",
"value": 27
},
{
"name": "伊犁",
"value": 99483
},
{
"name": "眉山",
"value": 53762
},
{
"name": "乐清",
"value": 1
},
{
"name": "福泉",
"value": 1
},
{
"name": "钦州",
"value": 58499
},
{
"name": "普兰店",
"value": 5
},
{
"name": "广汉",
"value": 17
},
{
"name": "广安",
"value": 51019
},
{
"name": "蒙自",
"value": 2
},
{
"name": "兴安",
"value": 15625
},
{
"name": "澎湖",
"value": 1073
},
{
"name": "老河口",
"value": 2
},
{
"name": "喀什",
"value": 100640
},
{
"name": "宜宾",
"value": 86251
},
{
"name": "临汾",
"value": 96106
},
{
"name": "咸阳",
"value": 81727
},
{
"name": "洛阳",
"value": 246276
},
{
"name": "湛江",
"value": 85558
},
{
"name": "天门",
"value": 2943
},
{
"name": "大理白族自治州",
"value": 2
},
{
"name": "台南",
"value": 3427
},
{
"name": "张家界",
"value": 19919
},
{
"name": "信阳",
"value": 144594
},
{
"name": "德州",
"value": 180884
},
{
"name": "盐城",
"value": 214803
},
{
"name": "阿坝藏族羌族自治州",
"value": 6
},
{
"name": "承德",
"value": 89533
},
{
"name": "怒江傈僳族",
"value": 50
},
{
"name": "广元",
"value": 47565
},
{
"name": "凌源",
"value": 1
},
{
"name": "庆阳",
"value": 82780
},
{
"name": "本溪",
"value": 39920
},
{
"name": "盘州",
"value": 2
},
{
"name": "昌都",
"value": 9701
},
{
"name": "肇庆",
"value": 70831
},
{
"name": "永安",
"value": 1
},
{
"name": "绍兴",
"value": 150535
},
{
"name": "咸宁",
"value": 57352
},
{
"name": "启东",
"value": 3
},
{
"name": "临夏",
"value": 26427
},
{
"name": "鹰潭",
"value": 24227
},
{
"name": "琼海",
"value": 2844
},
{
"name": "桦甸",
"value": 5
},
{
"name": "省直辖县级行政区划",
"value": 4
},
{
"name": "海东",
"value": 28380
},
{
"name": "文昌",
"value": 2806
},
{
"name": "日照",
"value": 124225
},
{
"name": "玉树",
"value": 5089
},
{
"name": "台山",
"value": 1
},
{
"name": "泰州",
"value": 177028
},
{
"name": "黑河",
"value": 40173
},
{
"name": "高安",
"value": 3
},
{
"name": "南京",
"value": 647986
},
{
"name": "铜仁",
"value": 104984
},
{
"name": "盘锦",
"value": 61232
},
{
"name": "临沧",
"value": 40346
},
{
"name": "格尔木",
"value": 13
},
{
"name": "邹城",
"value": 1
},
{
"name": "三亚",
"value": 60867
},
{
"name": "南通",
"value": 241594
},
{
"name": "新郑",
"value": 1
},
{
"name": "金门",
"value": 1742
},
{
"name": "朔州",
"value": 46142
},
{
"name": "辽阳",
"value": 63291
},
{
"name": "鞍山",
"value": 97244
},
{
"name": "上海",
"value": 1863549
},
{
"name": "甘孜",
"value": 19541
},
{
"name": "常州溧阳",
"value": 1
},
{
"name": "塔城",
"value": 36759
},
{
"name": "普洱",
"value": 42527
},
{
"name": "抚州",
"value": 62608
},
{
"name": "邯郸",
"value": 241393
},
{
"name": "孝感",
"value": 69045
},
{
"name": "锡林郭勒",
"value": 24224
},
{
"name": "黄山",
"value": 28771
},
{
"name": "江都",
"value": 1
},
{
"name": "克孜勒苏柯尔克孜",
"value": 37
},
{
"name": "白银",
"value": 56861
},
{
"name": "吴江",
"value": 1
},
{
"name": "塔城地区",
"value": 3
},
{
"name": "新沂",
"value": 4
},
{
"name": "大丰",
"value": 1
},
{
"name": "峨眉山",
"value": 1
},
{
"name": "晋中",
"value": 83694
},
{
"name": "巢湖",
"value": 1
},
{
"name": "襄樊",
"value": 1
},
{
"name": "徐州",
"value": 287766
},
{
"name": "资阳",
"value": 38014
},
{
"name": "惠州",
"value": 200040
},
{
"name": "南昌",
"value": 199212
},
{
"name": "文山",
"value": 52728
},
{
"name": "安庆",
"value": 82570
},
{
"name": "嘉义",
"value": 981
},
{
"name": "亳州",
"value": 100402
},
{
"name": "文山壮族苗族自治州",
"value": 1
},
{
"name": "六安",
"value": 72144
},
{
"name": "衡阳",
"value": 66911
},
{
"name": "石家庄",
"value": 571662
},
{
"name": "瑞金",
"value": 12
},
{
"name": "资兴",
"value": 4
},
{
"name": "保定",
"value": 332971
},
{
"name": "陇南",
"value": 60613
},
{
"name": "都江堰",
"value": 1
},
{
"name": "丽水",
"value": 56140
},
{
"name": "义乌",
"value": 3
},
{
"name": "常熟",
"value": 2
},
{
"name": "阿拉善",
"value": 7645
},
{
"name": "兰溪",
"value": 3
},
{
"name": "松原",
"value": 58316
},
{
"name": "嘉兴",
"value": 156218
},
{
"name": "深州",
"value": 2
},
{
"name": "巴中",
"value": 55348
},
{
"name": "常州",
"value": 295863
},
{
"name": "阿坝",
"value": 23804
},
{
"name": "巴音郭楞蒙古",
"value": 3117
},
{
"name": "滕州",
"value": 2
}
]
}
### data\_job.py
-- coding: utf-8 --
@Time : 2022/5/8 9:17
@Author : Tuomasi
@File : data_job.py
from data import SourceDataDemo
class JobData(SourceDataDemo):
def __init__(self):
"""
按照 SourceDataDemo 的格式覆盖数据即可
"""
super().__init__()
self.title = '南京招聘大数据'
self.counter = {'name': '招聘人数', 'value': 270665}
self.counter2 = {'name': '招聘企业数', 'value': 11059}
self.echart1_data = {
'title': '最缺人的行业',
'data': [
{"name": "IT互联网", "value": 40215},
{"name": "电子技术", "value": 17112},
{"name": "建筑与工程", "value": 17022},
{"name": "贸易进出口", "value": 16863},
{"name": "机械重工", "value": 15705},
{"name": "教育培训", "value": 11718},
]
}
self.echart2_data = {
'title': '最缺人的公司',
'data': [
{"name": "外资", "value": 8991},
{"name": "民营/私营", "value": 207644},
{"name": "合资", "value": 8317},
{"name": "事业单位", "value": 842},
{"name": "台资/港资", "value": 10969},
{"name": "国营企业", "value": 8901},
{"name": "上市公司", "value": 13770},
{"name": "其他", "value": 11231},
]
}
self.echarts3_1_data = {
'title': '工作时间',
'data': [
{"name": "6.5小时", "value": 2105},
{"name": "7小时", "value": 21761},
{"name": "7.5小时", "value": 41025},
{"name": "8小时", "value": 104917},
{"name": "10小时", "value": 4910},
{"name": "12小时", "value": 3883},
]
}
self.echarts3_2_data = {
'title': '上班天数',
'data': [
{"name": "5天/周", "value": 84910},
{"name": "5.5天/周", "value": 21530},
{"name": "6天/周", "value": 56152},
{"name": "6.5天/周", "value": 1574},
{"name": "7天/周", "value": 1500},
{"name": "大小周", "value": 7717},
]
}
self.echarts3_3_data = {
'title': '班制',
'data': [
{"name": "正常白班", "value": 111140},
{"name": "正常晚班", "value": 873},
{"name": "正常夜班", "value": 121},
{"name": "不定时工作制", "value": 4715},
{"name": "2班倒", "value": 14977},
{"name": "3班倒", "value": 1986},
{"name": "4班倒", "value": 199},
]
}
self.echart4_data = {
'title': '学历与机遇',
'data': [
{"name": "招聘人数",
"value": [76837, 3942, 20330, 25676, 19644, 84883, 37838, 1428, 87]},
{"name": "平均薪资",
"value": [5474, 4065, 4461, 4771, 4819, 5818, 7458, 9226, 17128]},
],
'xAxis': ['不限', '小学', '初中', '中专', '高中', '大专', '本科', '硕士', '博士'],
}
self.echart5_data = {
'title': '平均薪资',
'data': [
{"name": "外资", "value": 5412},
{"name": "民营/私营", "value": 5812},
{"name": "合资", "value": 5742},
{"name": "事业单位", "value": 8224},
{"name": "台资/港资", "value": 5239},
{"name": "国营企业", "value": 5567},
{"name": "上市公司", "value": 6432},
{"name": "其他", "value": 5365},
]
}
self.echart6_data = {
'title': '工作年限与薪资',
'data': [
{"name": "1-3年", "value": 5302, "value2": 15000 - 5302, "color": "01", "radius": ['59%', '70%']},
{"name": "3-5年", "value": 6938, "value2": 15000 - 6938, "color": "02", "radius": ['49%', '60%']},
{"name": "5-10年", "value": 9750, "value2": 15000 - 9750, "color": "03", "radius": ['39%', '50%']},
{"name": "10年以上", "value": 14350, "value2": 15000 - 14350, "color": "05", "radius": ['29%', '40%']},
{"name": "不限", "value": 5272, "value2": 15000 - 5272, "color": "05", "radius": ['20%', '30%']},
]
}
self.map_1_data = {
'symbolSize': 20000,
'data': [
{
"name": "甘肃省",
"value": 9
},
{
"name": "咸阳",
"value": 9
},
{
"name": "兰州",
"value": 1
},
{
"name": "拉萨",
"value": 15
},
{
"name": "咸宁",
"value": 4
},
{
"name": "湖州",
"value": 1
},
{
"name": "石家庄",
"value": 2
},
{
"name": "营口",
"value": 1
},
{
"name": "晋江",
"value": 995
},
{
"name": "湛江",
"value": 1
},
{
"name": "苏州",
"value": 11
},
{
"name": "宁德",
"value": 326
},
{
"name": "安溪",
"value": 324
},
{
"name": "连云港",
"value": 23
},
{
"name": "商洛",
"value": 1
},
{
"name": "潮州",
"value": 37
},
{
"name": "宁夏",
"value": 4
},
{
"name": "喀什地区",
"value": 4
},
{
"name": "烟台",
"value": 2
},
{
"name": "保定",
"value": 2
},
{
"name": "杭州",
"value": 36
},
{
"name": "厦门",
"value": 231249
},
{
"name": "运城",
"value": 1
},
{
"name": "福州",
"value": 1438
},
{
"name": "九江",
"value": 1
},
{
"name": "南平",
"value": 248
},
{
"name": "潜江",
"value": 3
},
{
"name": "新疆",
"value": 3
},
{
"name": "湖南省",
"value": 62
},
{
"name": "吉安",
"value": 2
},
{
"name": "遵义",
"value": 2
},
{
"name": "郑州",
"value": 13
},
{
"name": "福建省",
"value": 20304
},
{
"name": "三亚",
"value": 4
},
{
"name": "山西省",
"value": 32
},
{
"name": "扬州",
"value": 1
},
{
"name": "丽水",
"value": 6
},
{
"name": "内蒙古",
"value": 5
},
{
"name": "上饶",
"value": 1
},
{
"name": "盐城",
"value": 2
},
{
"name": "汕头",
"value": 26
},
{
"name": "南充",
"value": 2
},
{
"name": "安庆",
"value": 1
},
{
"name": "深圳",
"value": 125
},
{
"name": "南京",
"value": 7
},
{
"name": "青岛",
"value": 8
},
{
"name": "河北省",
"value": 55
},
{
"name": "黄浦区",
"value": 7
},
{
"name": "龙岩",
"value": 1219
},
{
"name": "西藏",
"value": 1
},
{
"name": "十堰",
"value": 10
},
{
"name": "安徽省",
"value": 32
},
{
"name": "德州",
"value": 2
},
{
"name": "泰州",
"value": 1
},
{
"name": "太仓",
"value": 1
},
{
"name": "广西",
"value": 56
},
{
"name": "南安",
"value": 640
},
{
"name": "芜湖",
"value": 1
},
{
"name": "肇庆",
"value": 11
},
{
"name": "陕西省",
"value": 19
},
{
"name": "揭阳",
"value": 6
},
{
"name": "成都",
"value": 41
},
{
"name": "武汉",
"value": 13
},
{
"name": "百色",
"value": 5
},
{
"name": "河池",
"value": 1
},
{
"name": "辽宁省",
"value": 13
},
{
"name": "大连",
"value": 2
},
{
"name": "鹰潭",
"value": 4
},
{
"name": "莆田",
"value": 349
},
{
"name": "张家港",
"value": 1
},
{
"name": "西安",
"value": 13
},
{
"name": "海南省",
"value": 15
},
{
"name": "贵州省",
"value": 13
},
{
"name": "上海",
"value": 318
},
{
"name": "五家渠",
"value": 2
},
{
"name": "宿州",
"value": 1
},
{
"name": "海淀区",
"value": 3
},
{
"name": "济南",
"value": 1
},
{
"name": "威海",
"value": 1
},
{
"name": "南宁",
"value": 11
},
{
"name": "梅州",
"value": 3
},
{
"name": "中山",
"value": 9
},
{
"name": "惠州",
"value": 9
},
{
"name": "武夷山",
"value": 5
},
{
"name": "昆明",
"value": 8
},
{
"name": "珠海",
"value": 4
},
{
"name": "金华",
"value": 2
},
{
"name": "江西省",
"value": 117
},
{
"name": "顺德",
"value": 1
},
{
"name": "唐山",
"value": 3
},
{
"name": "东莞",
"value": 26
},
{
"name": "抚州",
"value": 1
},
{
"name": "常熟",
"value": 1
},
{
"name": "贵阳",
"value": 1
},
{
"name": "沈阳",
"value": 3
},
{
"name": "台州",
"value": 3
},
{
"name": "长乐",
"value": 9
},
{
"name": "浙江省",
"value": 209
},
{
"name": "其他",
"value": 11
},
{
"name": "日照",
"value": 1
},
{
"name": "南通",
"value": 1
},
{
"name": "山东省",
"value": 102
},
{
"name": "仙桃",
"value": 5
},
{
"name": "黑龙江省",
"value": 1
},
{
"name": "赣州",
"value": 16
},
{
"name": "北京",
"value": 177
},
{
"name": "昆山",
"value": 3
},
{
"name": "浦东新区",
"value": 17
},
{
"name": "宁波",
"value": 9
},
{
"name": "福清",
"value": 40
},
{
"name": "石狮",
"value": 354
},
{
"name": "梧州",
"value": 3
},
{
"name": "国外",
"value": 196
},
{
"name": "佛山",
"value": 21
},
{
"name": "常州",
"value": 1
},
{
"name": "长治",
"value": 2
},
{
"name": "重庆",
"value": 65
},
{
"name": "江苏省",
"value": 136
},
{
"name": "三明",
"value": 197
},
{
"name": "合肥",
"value": 6
},
{
"name": "广州",
"value": 73
},
{
"name": "淮安",
"value": 10
},
{
"name": "温州",
"value": 13
},
{
"name": "朝阳区",
"value": 5
},
{
"name": "南昌",
"value": 14
},
{
"name": "绍兴",
"value": 1
},
{
"name": "徐州",
"value": 8
},
{
"name": "平顶山",
"value": 3
},
{
"name": "台湾",
"value": 4
},
{
"name": "",
"value": 77
},
{
"name": "河南省",
"value": 34
},
{
"name": "长沙",
"value": 22
},
{
"name": "湖北省",
"value": 78
},
{
"name": "山南",
"value": 3
},
{
"name": "漳州",
"value": 7038
},
{
"name": "四川省",
"value": 125
},
{
"name": "无锡",
"value": 2
},
{
"name": "香港",
"value": 3
},
{
"name": "泉州",
"value": 2817
},
{
"name": "临夏回族自治州",
"value": 1
},
{
"name": "银川",
"value": 7
},
{
"name": "荆门",
"value": 1
},
{
"name": "吉林省",
"value": 8
},
{
"name": "广东省",
"value": 209
},
{
"name": "义乌",
"value": 5
},
{
"name": "铜仁",
"value": 1
},
{
"name": "海口",
"value": 9
},
{
"name": "天津",
"value": 69
},
{
"name": "云南省",
"value": 25
}
]
}
user\_Data.py
import os
from data import SourceDataDemo
from readsplit import GetUser
from readsplit import GetStatic
class userData(SourceDataDemo):
def __init__(self):
"""
按照 SourceDataDemo 的格式覆盖数据即可
"""
super().__init__()
self.title = '用户消费大数据'
self.counter = {'name': '企业总消费（全国）', 'value': 46897575}
self.counter2 = {'name': '企业总消费（一线城市）', 'value': 6805564}
filepath = os.getcwd() + '\\data\\UserBehavior_small.csv'
self.echart1_data = {
'title': '用户消费数量分析',
'data': GetUser(filepath, 1e5)
}
self.echart2_data = {
'title': '省份分布',
'data': GetStatic(filepath, 1e5)
}
### readsplit.py
import pandas as pd
barx = None
bary = None
piex = None
piey = None
统计用户消费数量
def GetUser(filepath, chunksize):
global header
# 数据没有header，因此不读取header
reader = pd.read_csv(filepath, iterator=True, header=None)
no = 0
tmpdf = None
count = 0
while True:
try:
df = reader.get_chunk(chunksize)
# print('数据块：'—+str(no))
df = df.iloc[:, 0].to_frame()
df.columns = ['user']
df['num'] = 0
if no == 0:
count += df.shape[0]
tmpdf = df.groupby(by=['user']).count()
tmpdf['user'] = tmpdf.index.to_frame()
else:
count += df.shape[0]
df = df.groupby(by=['user']).count()
df['user'] = tmpdf.index.to_frame()
tmpdf = pd.concat([tmpdf, df])
tmpdf = tmpdf.groupby(tmpdf['user']).sum()
tmpdf['user'] = tmpdf.index.to_frame()
no += 1
except StopIteration:
print('GetUser Over')
break
# 消费次数最多的100个用户，一共消费了多少次
max100df = tmpdf.sort_values(by='num')
print("GetUser 用户数量必须和统计数量一致：" + str(max100df.shape[0]))
max100df = max100df.tail(100)
max100 = max100df.loc[:, 'num'].sum()
# 消费次数少于20个用户，一共消费了多少次
less20 = tmpdf.loc[tmpdf['num'] < 20, :]
less20 = less20.loc[:, 'num'].sum()
# return max100, less20, count
return [
{"name": "TOP100", "value": max100},
{"name": "BLOW20", "value": less20},
]
def GetStatic(filepath, chunksize):
global header
def GetUser(filepath, chunksize):
global header
# 数据没有header，因此不读取header
# 完成数据分析：
# 消费次数最多的100个用户，一共消费了多少次
# 消费次数小于20次的用户，一共消费了多少次
# return max100, less20, count
return [
{“name”: “TOP100”, “value”: max100},
{“name”: “BLOW20”, “value”: less20},
]
def GetStatic(filepath, chunksize):
global header
reader = pd.read_csv(filepath, iterator=True, header=None)
no = 0
usrdf = 0
productdf = 0
typedf = 0
while True:
try:
df = reader.get_chunk(chunksize)
if no == 0:
usrdf = df.iloc[:, 0].to_frame()
productdf = df.iloc[:, 1].to_frame()
typedf = df.iloc[:, 2].to_frame()
usrdf = usrdf.drop_duplicates()
productdf = productdf.drop_duplicates()
typedf = typedf.drop_duplicates()
else:
tmpdf = df.iloc[:, 0].to_frame()
usrdf = pd.concat([tmpdf, usrdf])
usrdf = usrdf.drop_duplicates()
tmpdf = df.iloc[:, 1].to_frame()
productdf = pd.concat([tmpdf, productdf])
productdf = productdf.drop_duplicates()
tmpdf = df.iloc[:, 2].to_frame()
typedf = pd.concat([tmpdf, typedf])
typedf = typedf.drop_duplicates()
no += 1
except StopIteration:
break
return [
{"name": "用户数", "value": usrdf.shape[0]},
{"name": "产品数", "value": productdf.shape[0]},
{"name": "类目数", "value": typedf.shape[0]},
]
八、index页面
---------
<!doctype html>
<meta charset="utf-8">
<title>大数据屏幕展示</title>
<script type="text/javascript" src="./static/js/jquery.js"></script>
<link rel="stylesheet" href="./static/css/comon0.css">
<iframe frameborder="0" src="./static/js/index.html" style="width: 100%; height: 100%"></iframe>
<div class="loadbox"><img src="./static/picture/loading.gif"> 我正在加载中...</div>
<h1>{{title}}</h1>
<div class="weather">
<img src="./static/picture/weather.png"><span>我是天气</span>
<span id="showTime"></span>
</div>
<!-- 尝试放到js里面-->
<script type="text/javascript" src="./static/js/showtime.js"></script>
<ul class="clearfix">
<!-- 第1栏 -->
<li>
<div class="boxall" style="height: 3.2rem">
<div class="alltitle">{{form.echart1.title}}</div>
<div class="allnav" id="echart1"></div>
<div class="boxfoot"></div>
</div>
<div class="boxall" style="height: 3.2rem">
<div class="alltitle">{{form.echart2.title}}</div>
<div class="allnav" id="echart2"></div>
<div class="boxfoot"></div>
</div>
<div class="boxall" style="height: 3.2rem">
<div style="height:100%; width: 100%;">
<div class="sy" id="fb1"></div>
<div class="sy" id="fb2"></div>
<div class="sy" id="fb3"></div>
</div>
<div class="boxfoot">
</div>
</div>
</li>
<!-- 第2栏 -->
<li>
<div class="bar">
<!-- 放数字显示区域 -->
<div class="barbox">
<ul class="clearfix">
<li class="pulll_left counter">{{form.counter.value}}</li>
<li class="pulll_left counter">{{form.counter2.value}}</li>
</ul>
</div>
<!-- 放文字显示区域 -->
<div class="barbox2">
<ul class="clearfix">
<li class="pulll_left">{{form.counter.name}}</li>
<li class="pulll_left">{{form.counter2.name}}</li>
</ul>
</div>
</div>
<div class="map">
<!-- lbx 三角形组成的网 -->
<div class="map1"><img src="./static/picture/lbx.png"></div>
<!-- jt 围绕着地球旋转的一个光环 -->
<div class="map2"><img src="./static/picture/jt.png"></div>
<!-- map 是一个小地球 -->
<div class="map3"><img src="./static/picture/map.png"></div>
<!-- 这里估计是一个中国地图-->
<div class="map4" id="map_1"></div>
</div>
</li>
<!-- 第3栏-->
<!-- 注意：这3个图表的高度不一致，但是总高度加起来和左边是一样的-->
<li>
<div class="boxall" style="height:3.4rem">
<div class="alltitle">{{form.echart4.title}}</div>
<div class="allnav" id="echart4"></div>
<div class="boxfoot"></div>
</div>
<div class="boxall" style="height: 3.2rem">
<div class="alltitle">{{form.echart5.title}}</div>
<div class="allnav" id="echart5"></div>
<div class="boxfoot"></div>
</div>
<div class="boxall" style="height: 3rem">
<div class="alltitle">{{form.echart6.title}}</div>
<div class="allnav" id="echart6"></div>
<div class="boxfoot"></div>
</div>
</li>
</ul>
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
