![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
问花笑谁陈
为有牺牲多壮志,敢叫日月换新天。
展开
-
idea 插件
一.DataFrame创建1.创建一个DataFramevaldataFrame= spark.read.textFile("/opt/spark/examples/src/main/resources/test.txt")2.结果展示dataFrame.show第一种 sql风格1.创建一个DataFramevaldataFrame= spark.read.textFile("/opt/spark/examples/src/main/resources/test....原创 2021-09-27 11:18:05 · 140 阅读 · 0 评论 -
dbeaver hive
原创 2021-09-18 15:12:47 · 175 阅读 · 0 评论 -
idea配置maven
1.idea和maven容易有版本冲突,建议用maven 3.5 ,官网可下载2.下载到D 盘,具体配置如:第一步配置环境变量,第二部修改setting,mirror和repository第三步是idea配置mvn,版本和路径,网络,和mvn版本,一致,就没有问题了IntellIJ IDEA 配置 Maven 以及 修改 默认 Repository - phpdragon - 博客园 (cnblogs.com)...原创 2021-08-10 10:53:10 · 95 阅读 · 0 评论 -
IDEA开发spark-问题
1.消除info(91条消息) 解决 idea 中 spark info 信息的有效方法_不贪吃的猪-CSDN博客2.ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.解决Hadoop:开发机运行spar.原创 2021-08-06 14:26:15 · 110 阅读 · 0 评论 -
idea 开发Scala
1.创建scala项目https://blog.csdn.net/zhousishuo/article/details/71598718https://blog.csdn.net/zhujq_icode/article/details/82501559原创 2021-08-06 14:22:41 · 120 阅读 · 0 评论 -
Spark
1.RDD抽象的神奇的数据集,可以当成一个普通的数据集,调用他的方法,传入函数,大大简化开发好处:不用关心任务怎样调度,不用关心任务是否失败。rdd相当于一个代理,你对代理法号命令,他会帮你具体生成任务进行计算。val lines=sc.textFile("file:///bigdata/test1")lines.flatMap(line=>line.split("")).map((_,1)).reduceByKey(_+_).sortBy(_._2,false).collect.原创 2021-08-06 14:22:16 · 90 阅读 · 0 评论 -
lLinux安装CM
一:安装jdk二:安装MySQL1.下载文件:D:\bigdata\大数据\Jar\Mysql 上传到Linux的opt文件夹中。 和Linux上传文件:yum install lrzsz2.卸载:判断是否以前有安装过3.安装:rpm -ivh MySQL-client-5.5.54-1.linux2.6.x86_64.rpm rpm -ivh MySQL-server-5.5.54-1.linux2.6.x86_64.rpm如果出现packa...原创 2020-07-29 11:16:21 · 387 阅读 · 0 评论