- 博客(9)
- 收藏
- 关注
RSS订阅原创 【无标题】
还有个说明：我的集群是没有装spark的，我是在win的IDEA里的maven使用了spark 3.0.0，有一个本地模式。我试了还是不行，后面我去看了hive-site.xml文件配置，还需要开启一个参数。应该就可以了，还需要说明的是：开启原数据服务还是需要的，我试了没开，还是会有报错。相信你已经看过其他同样解决相同问题的博客，如果没有解决，可以试试本文解决的方法。无法实例化，有可能是原数据的问题，我看了其他的博客，需要开启原数据服务。（如果与你相同，很幸运可以减少你探索是否是版本的问题）
2023-04-09 15:18:33
213
原创 最快彻底删除kafka的topic
最快彻底删除kafka的topic权当记录，分享初学kafka,本人删除kafka里的topic后，想要再创建一个同名的topic发现一直报错。后面看了网上博客才发现kafka不能永久删除topic，需要在zookeeper里删除很多东西才行。这里笔者取巧了，用连接zookeeper的工具prettyZoo进行删除打开你的有关于kafka的目录，一个一个点开，找到你想要删除的topic，右键找到删除选项，点击删除就可（比在zookeeper里敲很多命令行快多了）...
2022-02-17 22:25:38
1440
原创 海量Web日志分析（MR实现）
海量日志分析（MR实现）海量日志分析（MR实现）代码需求笔者配置数据类型需求具体实现思路代码结构KPI.javaKPIPV.java代码结果截图KPIIP.java代码结果截图KPITime.java代码结果截图（部分）KPIBrowser.java代码结果截图（部分）海量日志分析（MR实现）代码需求实现PV，IP，访问时间，浏览器类型等常用的Web日志分析功能。笔者配置Hadoop3.1.3，有空再用spark实现IDEA本地测试运行，可以打jar包上传集群跑数据数据类型222.68.17
2022-02-09 23:22:01
1587
原创 HBase项目案例之微博
HBase实战案例之微博HBase实战案例之微博笔者配置思路微博内容表：content用户关系表：relation收件箱表：inbox代码结构Constants.javaHBaseUtil.javaHBaseDao.javaTestWeiBo代码结果HBase实战案例之微博笔者配置Hadoop3.1.3+HBase2.2.2IDEA本地运行没有写运行配置，我是在resorces里添加文件，可以看另一篇文章的步骤一HBase整合MR本地IDEA运行思路三张表用来存储数据微博内容表：CONTE
2022-01-23 21:47:51
295
原创 HBase整合MR本地IDEA运行
HBase整合MR本地IDEA运行HBase整合MR本地IDEA运行需求笔者配置步骤一步骤二HBase整合MR本地IDEA运行需求MR程序调用HBase里的数据，不想打jar包放上集群跑，想在本地IDEA运行笔者配置Hadoop3.1.3+HBase2.2.2##解决找了很多博客都没找到解决办法，最后在一个视频里学到了，就记录下来。步骤一在resources资源目录下添加hbase-site.xml，这个是你自己集群里的HBase的配置文件\步骤二Maven导入依赖, 下载失败的可以
2022-01-23 21:38:19
1905
原创 MapReduce基本案例
MapReduce基本案例案例1. 单词统计案例1. 单词统计对文件里的单词进行计数输入数据ss sscls clsjiaobanzhangxuehadoop输出数据banzhang 1cls 2hadoop 1jiao 1ss 2xue 1注意：包要导对，有些可能导到java包里代码：WordCountMapper.javapackage com.lmr.mapreduce.wordcount;import org.apache.hadoop.io.IntW
2021-10-22 17:35:08
4033
2
原创 随笔...
随笔（标题可真让我头疼，索性随性点）作为建模队里数据手加灵魂造图手，此文仅记录参加数学建模“认证杯”的造图代码，乘着记忆还热乎，赶紧来封存一下，以免下次要用时，还得重新敲，也留给国赛一手准备。三维图#停车点的使用次数的三维分布图from mpl_toolkits.mplot3d import Axes3Dimport matplotlib.pyplot as pltimport pandas as pdimport seaborn as sns my_dpi=96plt.figure(
2021-05-19 23:26:22
423
4
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人