
big data
记录在big data学习过程中遇到的问题或经验
Late whale
这个作者很懒,什么都没留下…
展开
-
Mysql 报错 ERROR 1062 (23000): Duplicate entry ‘%-root‘ for key ‘PRIMARY‘
文章目录错误详情错误原因解决方案最后错误详情今天在云主机上配置Hive时,设置远程连接的权限报错如下:错误原因之前电脑上已经有了%,解决方案查看一下电脑中是否已经具有%select host,user from user where user='root';如果已经存在则不需要在执行update user set host ='%' where user ='root';,只是还没能刷新,刷新之后就可往下走了。最后可以关注一下我的公众号,最近开始写公众号,我会在上面分享一些资源原创 2020-07-22 14:54:24 · 4887 阅读 · 1 评论 -
java.sql.SQLException : null, message from server: “Host ‘‘ is not allowed to connect to this Maria
错误详情今天在初始化云主机中Hive时报错如下:Underlying cause: java.sql.SQLException : null, message from server: “Host ‘’ is not allowed to connect to this MariaDB server”SQL Error code: 1130错误原因服务器不允许远程访问,修改配置让其支持远程访问。解决方案进入mysql,没启动的先启动//进入命令(userName,passWord按照原创 2020-07-22 11:10:53 · 4208 阅读 · 1 评论 -
idea编写mapreduceTopN程序,运用hdfs上的数据测试并将结果存到hdfs
问题:选出蜀国中五虎将原始数据如下:序号 姓名 武力值 国家1 刘备 68 蜀国2 马超 90 蜀国3 黄忠 91 蜀国4 魏延 76 蜀国5 姜维 92 蜀国6 关羽 96 蜀国7 严颜 78 蜀国8 孟达 64 蜀国9 张飞 88 蜀国10马谡 76 蜀国11 赵云 95 蜀国12 法正 88 蜀国预期结果如下:6 关羽 96 蜀国11 赵云 95 蜀国5 ...原创 2019-12-10 19:50:39 · 1418 阅读 · 0 评论 -
命令行中实现mapreduce经典入门程序wordcount,输入输出均为hdfs
实验环境:hadoop+java jdk+ubuntu准备数据文件新建一个叫test的文本文件pass:gedit 是一款文本编辑器,非常好用,没有的可以改为vi或vim内容随便输a b d aaadas fs aaddd fssffsa aawww werffaa编写代码同样的,新建一个WordCountMapper.java,WordCountReducer.ja...原创 2019-12-10 18:43:27 · 1216 阅读 · 0 评论 -
pyspark程序 从hdfs上读取数据求其TopN,并将结果存回hdfs
本次使用到的数据文件导入必要的包,因为用到的是pyspark,最好导入findspark,可以避免一些看不懂的错误初始化sparkcontext,local为本地工作方式,topapp为随意取的名字从hdfs上读取文件,并输出第一行看数据结构方便后面操作将text转化为list对象(rdd调用collect后变为list对象)自定义函数,将list数据按空格切开将text2...原创 2019-12-08 20:54:21 · 2002 阅读 · 4 评论 -
ubuntu下上传本地文件到hdfs上
首先,启动hadoop创建一个文件夹打开haddopweb界面查看(主机名:50070)右下角可以看到之前创建好的work文件夹(ubuntu中不好处理图片)新建一个数据文件,没有gedit的可以vi或vim,vi、vim保存加退出(:wq!),推荐下载gedit比vim好用将之前创建的wujiang.txt上传到hdfs中web中查看,work中出现了则上传文件成功...原创 2019-12-08 15:05:03 · 3393 阅读 · 2 评论