- 博客(9)
- 收藏
- 关注
原创 【无标题】
还有个说明:我的集群是没有装spark的,我是在win的IDEA里的maven使用了spark 3.0.0,有一个本地模式。我试了还是不行,后面我去看了hive-site.xml文件配置,还需要开启一个参数。应该就可以了,还需要说明的是:开启原数据服务还是需要的,我试了没开,还是会有报错。相信你已经看过其他同样解决相同问题的博客,如果没有解决,可以试试本文解决的方法。无法实例化,有可能是原数据的问题,我看了其他的博客,需要开启原数据服务。(如果与你相同,很幸运可以减少你探索是否是版本的问题)
2023-04-09 15:18:33
213
原创 最快彻底删除kafka的topic
最快彻底删除kafka的topic权当记录,分享初学kafka,本人删除kafka里的topic后,想要再创建一个同名的topic发现一直报错。后面看了网上博客才发现kafka不能永久删除topic,需要在zookeeper里删除很多东西才行。这里笔者取巧了,用连接zookeeper的工具prettyZoo进行删除打开你的有关于kafka的目录,一个一个点开,找到你想要删除的topic,右键找到删除选项,点击删除就可(比在zookeeper里敲很多命令行快多了)...
2022-02-17 22:25:38
1440
原创 海量Web日志分析(MR实现)
海量日志分析(MR实现)海量日志分析(MR实现)代码需求笔者配置数据类型需求具体实现思路代码结构KPI.javaKPIPV.java代码结果截图KPIIP.java代码结果截图KPITime.java代码结果截图(部分)KPIBrowser.java代码结果截图(部分)海量日志分析(MR实现)代码需求实现PV,IP,访问时间,浏览器类型等常用的Web日志分析功能。笔者配置Hadoop3.1.3,有空再用spark实现IDEA本地测试运行,可以打jar包上传集群跑数据数据类型222.68.17
2022-02-09 23:22:01
1587
原创 HBase项目案例之微博
HBase实战案例之微博HBase实战案例之微博笔者配置思路微博内容表:content用户关系表:relation收件箱表:inbox代码结构Constants.javaHBaseUtil.javaHBaseDao.javaTestWeiBo代码结果HBase实战案例之微博笔者配置Hadoop3.1.3+HBase2.2.2IDEA本地运行没有写运行配置,我是在resorces里添加文件,可以看另一篇文章的步骤一HBase整合MR本地IDEA运行思路三张表用来存储数据微博内容表:CONTE
2022-01-23 21:47:51
295
原创 HBase整合MR本地IDEA运行
HBase整合MR本地IDEA运行HBase整合MR本地IDEA运行需求笔者配置步骤一步骤二HBase整合MR本地IDEA运行需求MR程序调用HBase里的数据,不想打jar包放上集群跑,想在本地IDEA运行笔者配置Hadoop3.1.3+HBase2.2.2##解决找了很多博客都没找到解决办法,最后在一个视频里学到了,就记录下来。步骤一在resources资源目录下添加hbase-site.xml,这个是你自己集群里的HBase的配置文件\步骤二Maven导入依赖, 下载失败的可以
2022-01-23 21:38:19
1905
原创 MapReduce基本案例
MapReduce基本案例案例1. 单词统计案例1. 单词统计对文件里的单词进行计数输入数据ss sscls clsjiaobanzhangxuehadoop输出数据banzhang 1cls 2hadoop 1jiao 1ss 2xue 1注意:包要导对,有些可能导到java包里代码:WordCountMapper.javapackage com.lmr.mapreduce.wordcount;import org.apache.hadoop.io.IntW
2021-10-22 17:35:08
4033
2
原创 随笔...
随笔(标题可真让我头疼,索性随性点)作为建模队里数据手加灵魂造图手,此文仅记录参加数学建模“认证杯”的造图代码,乘着记忆还热乎,赶紧来封存一下,以免下次要用时,还得重新敲,也留给国赛一手准备。三维图#停车点的使用次数的三维分布图from mpl_toolkits.mplot3d import Axes3Dimport matplotlib.pyplot as pltimport pandas as pdimport seaborn as sns my_dpi=96plt.figure(
2021-05-19 23:26:22
423
4
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人