大数据有关
小菜鸡也有大佬梦
加油加油加油
展开
-
有关echarts和pyecharts的一切
一个简单的数据可视化课程设计,因为echarts版本太过于奇怪,导致花费了大量的时间,此处谨记录踩过的坑,希望后来人可以避免这些坑。Echarts有关如何把json格式的地图信息转换成Echarts可以使用的js格式?(全网最全答案)①首先,你要去网站[http://datav.aliyun.com/tools/atlas/](http://datav.aliyun.com/tools/...原创 2020-05-08 15:48:35 · 5759 阅读 · 1 评论 -
Hbase启动失败解决方案积累
原文链接:https://blog.csdn.net/SL_World/article/details/84952725原文中介绍了几种常见问题,我也遇到过,亲测方法有效,下面再记录一个自己遇到的问题日志如下:遇到这样的问题,很明显,是Hadoop版本过高,导致此Jar包内的方法被淘汰(我电脑环境是Hadoop3.x,而Hbase是1.5.0)。故,我们只需要替换下图所示目录的common...原创 2020-01-01 20:48:03 · 2072 阅读 · 0 评论 -
将CSV文件导入到hive数据库
将csv文件导入hive后出现了所有的字段只显示在新建的表的第一个字段中,后面的字段全是null.出现这种的原因是hive以行分隔数据,需要修改为按逗号’ , ‘ 进行分隔读取,具体操作如下,首先在hive中创建自己的table, 并且设置以逗号分隔。create table IP(ip varchar(30), country varchar(30), province varch...转载 2019-09-10 19:59:33 · 1661 阅读 · 0 评论 -
spark用scala读取hive表数据
spark2.x写法:val sparkConf = new SparkConf().setAppName(“adver”).setMaster(“local[*]”)val sparkSession = SparkSession.builder().config(sparkConf).enableHiveSupport().getOrCreate()sparkSession.sql(“us...转载 2019-09-10 20:00:33 · 1879 阅读 · 1 评论 -
Hive如何在创建表时指定存储格式
1、TextFileHive数据表的默认格式,存储方式:行存储。可以使用Gzip压缩算法,但压缩后的文件不支持split在反序列化过程中,必须逐个字符判断是不是分隔符和行结束符,因此反序列化开销会比SequenceFile高几十倍。create table if not exists textfile_table(site string,url string,pv bigint...原创 2019-09-10 20:06:21 · 8263 阅读 · 0 评论