GGBOND_4892
码龄7年
求更新 关注
提问 私信
  • 博客:107,849
    问答:1,070
    108,919
    总访问量
  • 18
    原创
  • 66
    粉丝
  • 25
    关注
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:河北省
加入CSDN时间: 2018-07-31

个人简介:大数据

博客简介:

登高自卑

博客描述:
最近忙考研,没时间看博客了,不好意思
查看详细资料
个人成就
  • 获得94次点赞
  • 内容获得266次评论
  • 获得315次收藏
  • 代码片获得261次分享
  • 博客总排名1,182,553名
创作历程
  • 23篇
    2019年
成就勋章
TA的专栏
  • Flask
    4篇
  • 那些年我踩过的坑
    10篇
  • 爬虫
    3篇
  • mysql
  • ECharts
    1篇
  • 数据可视化
    1篇
  • mapreduce
    1篇
  • pandas

TA关注的专栏 1

TA关注的收藏夹 0

TA关注的社区 0

TA参与的活动 0

兴趣领域 设置
  • 人工智能
    scikit-learn
创作活动更多

新星杯·14天创作挑战营·第13期

这是一个以写作博客为目的的创作活动,旨在鼓励大学生博主们挖掘自己的创作潜能,展现自己的写作才华。如果你是一位热爱写作的、想要展现自己创作才华的小伙伴,那么,快来参加吧!我们一起发掘写作的魅力,书写出属于我们的故事。我们诚挚邀请你们参加为期14天的创作挑战赛!注: 1、参赛者可以进入活动群进行交流、互相鼓励与支持(开卷),虚竹哥会分享创作心得和涨粉心得,答疑及活动群请见:https://bbs.csdn.net/topics/619781944 【进活动群,得奖概率会更大,因为有辅导】 2、文章质量分查询:https://www.csdn.net/qc

80人参与 去参加
  • 最近
  • 文章
  • 专栏
  • 代码仓
  • 资源
  • 收藏
  • 关注/订阅/互动
更多
  • 最近

  • 文章

  • 专栏

  • 代码仓

  • 资源

  • 收藏

  • 关注/订阅/互动

  • 社区

  • 帖子

  • 问答

  • 课程

  • 视频

搜索 取消

flask+mysql+ECharts+ajax+百度地图实现数据可视化

思路1:后台连接数据库创建session对象2:创建表关系映射3:查询数据4:将数据封装成特定格式(json)5:前台通过ajax请求指定路由异步加载数据并在地图上展示先来看一下效果地图参考:https://gallery.echartsjs.com/editor.html?c=map-china-dataRange准备:导入相应的库连接数据库:sqlalchemyfrom ...
原创
博文更新于 2020.04.02 ·
5836 阅读 ·
7 点赞 ·
74 评论 ·
62 收藏

pandas 分析NBA球员常规赛2007年到2018年常规赛数据

最近爬了一些NBA球员的数据,想用pandas来做一下简单的分析一下,主要用到的函数就三个:apply,group by ,sum处理思路:对数据按照球员名字进行分组统计每个球员每列数据的总和即2007年到2018年数据的合对列进行作商看一下球员数据:数据格式是json格式最外层是detail 和 name字段detail保存的是球员的详细数据,name字段保存的是球员的名字。...
原创
博文更新于 2019.04.30 ·
945 阅读 ·
2 点赞 ·
0 评论 ·
7 收藏

python 爬取NBA中国官网球员数据

现在很多网站的数据都是通过Ajax动态加载的,我认为这恰恰降低了我们爬取的难度,因为我们无需考虑如何解析数据,只需要将json文件转换为字典形式,通过字典的键就可以取得我们所需要的数据。爬取网站:NBA中文官网用到的库:requests、json思路:分析页面找到保存有球员名字的json文件解析json文件获取球员名字获取保存球员数据的json文件解析json文件获取有用的数据将...
原创
博文更新于 2019.04.30 ·
5043 阅读 ·
7 点赞 ·
4 评论 ·
35 收藏

MapReduce清洗json数据——去空去重并使用指定符号分隔数据

咳咳,终于要写mapreduce了,算是填上了以前挖的坑,虽然时间有点晚。。。。。。mapreduce去空去重并格式化输出数据前提:解析json的库:我使用的是阿里的fastjson思路:数据去重:map的输出<key,value>经过shuffle过程聚集成<key,value-list>后交给reduce,无论这个数据出现多少次,只要在最终结果中输出一次就可以了...
原创
博文更新于 2019.04.24 ·
4851 阅读 ·
11 点赞 ·
14 评论 ·
46 收藏

hive启动报错:Relative path in absolute URI

hive启动的时候出现错误:Exception in thread “main” java.lang.RuntimeException: java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: KaTeX parse error: Expected '}', g...
原创
博文更新于 2019.04.06 ·
6534 阅读 ·
2 点赞 ·
1 评论 ·
2 收藏

requests+bs4+正则爬取前程无忧招聘信息进阶版

整理思路获取所有职位信息的url通过正则去掉不符合要求的url爬取详情页信息解析详情页写入txt文件循环抓取提高速度多线程爬取先放上url:https://search.51job.com/list/000000,000000,0000,00,9,99,+,2,1.htmlurl的最后“1.html”中的1是指第一页第二页就是2.html以此类推我们可以使用一个变量替代实现循...
原创
博文更新于 2019.03.25 ·
1800 阅读 ·
2 点赞 ·
3 评论 ·
14 收藏

Flask+echarts实现招聘信息数据可视化

首先声明本人也是初学者如有错误欢迎指正,而且我在团队中主要负责爬虫和可视化数据清洗暂未学习我会在四月的某一天补上使用MapReduce进行数据清洗然后导入hive进行分析!这一篇主要写的是使用Blueprint对每个视图函数进行分包,基础步骤如连接数据库以及查询数据请参考我的另一篇文章(https://blog.csdn.net/qq_42844049/article/details/883642...
原创
博文更新于 2019.03.25 ·
5875 阅读 ·
9 点赞 ·
138 评论 ·
43 收藏

Flask + echarts 实现数据可视化 jinja2模板变量代码块报错

最近在做一个数据可视化的项目使用的是flask + echarts 一直以来都是使用pycharm直接创建flask项目这几天想自己手写一个flask项目但是问题来了!!!jinja2模板标红了但是运行是没有问题的控制台也没有任何报错信息这个问题纠结了好几天,虽然运行没问题可是一直标红也不舒服下面看我的问题:先来看一下我的项目结构(手写):我使用了Blueprint分包然后在__init__...
原创
博文更新于 2019.03.20 ·
2454 阅读 ·
3 点赞 ·
3 评论 ·
2 收藏

flask + echarts 实现数据可视化jinja2模板页面报错但是可以运行?

发布问题 2019.03.20 ·
3 回答

解决flask后台数据传递到前端字符被转义

今天在使用flask+echarts做数据可视化的时候发现后台数据传递到前台但是前台的图表却无法显示F12查看错误后发现数据中的引号被转义了原因是为了防止js注入我需要的数据格式为是一个列表如何不让引号转义呢很简单只需要在变量后面加tojson即可这样数据就正常显示了看一下正常数据:...
原创
博文更新于 2019.03.12 ·
6217 阅读 ·
10 点赞 ·
10 评论 ·
16 收藏

scrapy命令行入门学习

Command line tool:其中全局命令可以不用进入项目使用项目命令必须进入项目使用Windows 下创建一个scrapy项目:打开cmdscrapy createproject 项目名如果你想在指定目录创建项目后面可以加上项目路径如:scrapy createproject myproject c:\\scrapycode或者是直接进入项目路径直接创建:c:cd ...
原创
博文更新于 2019.03.11 ·
223 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

BeautifulSoup4 css选择器选中一个html标签的class属性拥有多个值的标签

最近在学习bs4时遇到一个问题如果一个标签的class属性拥有多个值我们应该如何精确的选中它呢我只需要第一个div里的内容查阅了相关资料后找到了解决办法我们可以使用soup.select_one()方法返回第一个div里的内容但是这个div的class属性有两个值’e’ ‘e4’我们可以将两个属性都传入css选择器中soup.select_one('div.e.e4')这样就可以精确...
原创
博文更新于 2019.03.09 ·
7118 阅读 ·
2 点赞 ·
0 评论 ·
8 收藏

TXT文件导入mysql

今天在做数据可视化的时候原始数据是一个txt文件要求是在数据库中查询然后可视化所以要先把txt文件导入数据库我们先来看一下文件结构:可以看到文件主要包含 :职位、公司、地点、薪资、发布时间和职位描述,中间用’\t’分隔第一步:先建一张表包含职位、公司、地点、薪资、发布时间和职位描述等字段sql命令:create table recruit( id int primary key aut...
原创
博文更新于 2019.03.04 ·
9299 阅读 ·
4 点赞 ·
4 评论 ·
22 收藏

hive启动报错拒绝连接

启动hive时出现错误拒绝连接检查后发现原来是hadoop进程没起!!!!!一定要仔细先启动hadoop进程再启动hive注意hadoop进程要全部启动
原创
博文更新于 2019.02.26 ·
9251 阅读 ·
6 点赞 ·
9 评论 ·
5 收藏

hive启动时报错Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/Hive

今天在启动hive时一直报错Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf百思不得解又得百度记录一下解决方法:错误原因是我以前通过eclipse Java api写Hadoop程序时报错找不到hbase的包那时候我在hadoop-env.sh中加了...
转载
博文更新于 2019.02.26 ·
7203 阅读 ·
4 点赞 ·
1 评论 ·
5 收藏

MySql服务启动报错"超时时间已过,......."

今天在将爬下来的数据导入数据库中时突然发现自己数据库进不去了关闭服务以后服务一直启动不了报错" 超时时间已过而服务却没启动"大概就是这意思吧,百度了一下,最后在百度经验找到一篇文章试了一下成功启动了服务步骤:右击我的电脑选择管理找到服务找到MySQL服务右击选择属性点击登陆选择本地系统账户然后点击应用–&gt;确定重启MySQL服务发现服务启动了有没有明白的大神给指点一下最后...
转载
博文更新于 2019.02.26 ·
4749 阅读 ·
4 点赞 ·
1 评论 ·
2 收藏

用 sqoop 将本地数据库导入到虚拟机的hive中报错:Host is not allowed to connect to this MySQL server

错误原因是:本地数据库权限问题,本地数据库禁止远程登陆解决办法:打开cmd进入mysql的安装目录的bin目录先启动mysql命令:mysql -u root -p root(密码改成自己设置的密码)或者安装了mysql-command的直接打开mysql-command输入密码登陆执行grant all PRIVILEGES on movies.* to root@'192.168.27.1...
转载
博文更新于 2019.02.23 ·
531 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

python使用pymysql连接mysql数据库报错:1042Can't get hostname for your address

python使用pymysql连接mysql数据库报错:1042Can’t get hostname for your address检查hosts文件路径:C:\Windows\System32\drivers\etc去掉前面的‘#’修改MySql的my.ini文件我的在C:\ProgramData\MySQL\MySQL Server 5.7找到mysqlid节点加入以下两项#跳...
转载
博文更新于 2019.02.23 ·
721 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

module 'pip' no attribute 'main'

python 更新pip后pycharm运行报错:module ‘pip’ no attribute ‘main’打开pycharm安装目录找到helpers\packaging_tool.py文件建议用管理员身份运行pycharm打开文件因为python对缩进有严格要求用pycharm会比较方便不然前后缩进不一致会报缩进错误在文件中找到do_install()和do_uninstall()方...
转载
博文更新于 2019.02.23 ·
209 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

flask模板加载js,css文件

flask模板加载js,css文件最近在做数据可视化的时候接到一个需求:要求在flask中用ECharts实现数据可视化这就涉及到了flask中模板静态文件加载的问题,我们使用传统的方法是不能导入文件的如&lt;script src="/js/echarts.js"&gt;&lt;/script&gt;用这样的方法Flask找不到资源文件。静态文件:通常是 CSS 和 JavaScript 文...
原创
博文更新于 2019.02.20 ·
20497 阅读 ·
17 点赞 ·
2 评论 ·
50 收藏
加载更多