大数据
大数据
Wingkin-
这个作者很懒,什么都没留下…
展开
-
idea快速创建flink项目
本文将介绍如何使用idea快速创建flink项目。原创 2021-06-18 17:43:38 · 8521 阅读 · 3 评论 -
java jdbc查询hive数据,并将结果存为列表显示
java jdbc查询hive数据,并将结果存为列表显示1.代码import java.sql.*;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;public class HiveConnect { public static void main(String [] args) throws Exception{ Class.原创 2021-02-02 10:28:02 · 1508 阅读 · 1 评论 -
IntelliJ IDEA编写maven搭建的spark程序读取hbase数据
IntelliJ IDEA编写maven搭建的spark程序的详细步骤在上篇文章中已经介绍了,感兴趣的可以去看一下:Intellij IDEA编写Spark应用程序超详细步骤(IDEA+Maven+Scala)搭建的步骤是一样的,主要是pom文件和代码的不同。1.项目结构2.pom文件<properties> <spark.version>2.1.0</spark.version> <scala.version>2.1原创 2020-12-17 16:08:27 · 2802 阅读 · 0 评论 -
Intellij IDEA编写Spark应用程序超详细步骤(IDEA+Maven+Scala)
本文介绍Intellij IDEA编写Spark应用程序,项目使用maven构建。原创 2020-12-16 11:22:13 · 10362 阅读 · 6 评论 -
hive初始化数据库失败 org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED!
问题:安装好hive后,执行初始化数据库命令schematool -dbType mysql -initSchema,出现以下错误:Starting metastore schema initialization to 2.3.0Initialization script hive-schema-2.3.0.mysql.sqlError: Got error 168 from storage engine (state=HY000,code=1030)org.apache.hadoop.hive.原创 2020-12-14 14:47:49 · 15969 阅读 · 1 评论 -
HBase创建表以及使用Phoenix操作查询Hbase
Hbase创建表hbase shell进入命令行1.创建表test1,两个列族为id和messagecreate 'test1', 'id', 'message'2.向表test1中添加数据#向行1、列id:id所对应的单元格添加数据1put 'test1', '1', 'id:id', '1'#向行1、列message:name所对应的单元格添加数据wingkinput 'test1', '1', 'message:name', 'wingkin'put 'test1', '1', '原创 2020-11-19 11:39:47 · 3383 阅读 · 0 评论 -
MySQL的常用操作
MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS (Relational Database Management System,关系数据库管理系统) 应用软件之一。下面介绍一下MySQL的常用基础操作。1.启动MySQL在Linux系统中新建一个终端,执行下面命令用以启动MySQL:mysql -u root -p上述命令是使用root用户登录M原创 2020-07-20 19:12:34 · 196 阅读 · 0 评论 -
提取文本文件数据中所需要的字段(提取文本文件中所需要的列)
以此文本文件数据为例:数据中含有三十多个字段,也就是三十多列,而我们只需要其中的几列数据。步骤把文本文件复制到Linux系统中的目录中,在同目录中新建一个bash脚本文件vim pre_deal.sh在脚本文件中加入下列代码:#!/bin/bash#下面设置输入文件,把用户执行pre_deal.sh命令时提供的第一个参数作为输入文件名称infile=$1#下面设置输出文件,把用户执行pre_deal.sh命令时提供的第二个参数作为输出文件名称outfile=$2#注意,最后的$in原创 2020-07-03 18:03:19 · 2163 阅读 · 1 评论 -
使用Echarts绘制自动播放的时间轴排名图表 时间轴动态排名
本实验所用数据来自于国家数据网站,网址为http://data.stats.gov.cn/easyquery.htm?cn=E0103。所用数据为2010-2019年各省年度GDP,如下图所示:动态图表制作过程(1)本动态图表使用Echarts绘制。首先新建一个HTML文件。(2)引入 echarts.js。(3)设置动态图表的宽度和高度,并初始化echarts实例。(4)加入数据。(5)设置动态图表的播放速度和颜色。(6)完成后使用浏览器打开HTML文件即可看到..原创 2020-06-19 17:52:36 · 2145 阅读 · 3 评论 -
R语言可视化饼图比例分析
R语言可视化饼图比例分析可视化分析时常常需要分析物品所占的比例,我们可以使用饼图进行比例分析。本例中我们使用R连接MySQL,获取MySQL中的car_action表数据从而统计汽车所使用的燃料的比例。1.启动MySQLservice mysql startmysql -u root -p2.连接MySQL,并获取数据library(RMySQL)conn<- dbConnect(MySQL(),dbname='dblab',username='root',password='had原创 2020-05-12 16:54:13 · 3907 阅读 · 0 评论 -
Linux安装R以及依赖库出现的一些问题及解决方法
1.安装R在 /etc/apt/sources中添加源sudo vim /etc/apt/sources.list在sources.list文件的最后一行为系统添加相应的镜像源#(19.04)deb https://cloud.r-project.org/bin/linux/ubuntu disco-cran35/# (18.10)deb https://cloud.r-project.org/bin/linux/ubuntu cosmic-cran35/#(18.04;L.原创 2020-05-09 16:45:57 · 11785 阅读 · 11 评论