Hadoop-代码的几种跑法

最新推荐文章于 2023-11-09 08:33:28 发布
最新推荐文章于 2023-11-09 08:33:28 发布
阅读量488 收藏
点赞数
分类专栏： 大数据 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Young_____Hu/article/details/85109724
版权

1.Hadoop可以安装在linux上，一般以集群安装。也可安装在windows上，开发人员可以在本地安装一个hadoop这样在开发阶段可以直接跑本地模式，方便debug

2.IDEA上或者eclipse上可以跑mapreducer代码。有三种方式

  • 直接在本地跑。
  • 直接在集群上跑
  • 在本地跑集群

这里简单说两种本地跑和集群上跑
集群上跑需要把项目打成jar包
集群启动namenode、datanode、start-yaml.sh
执行hadoop jar jar包名字 需要跑的方法全类名

本地跑：直接跑方法就行，因为在windows上面安装的hadoop默认为local本地模式

Young_____Hu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据框架和数仓高频面试题总结
击水三千里的专栏
02-15 2069
优化面试题和排版，更加聚焦目标 首先map task会从本地文件系统读取数据，转换成key-value形式的键值对集合 使用的是hadoop内置的数据类型，比如longwritable、text等 将键值对集合输入mapper进行业务处理过程，将其转换成需要的key-value在输出 之后会进行一个partition分区操作，默认使用的是hashpartitio...
Flink大数据量调优思路总结（二）
击水三千里的专栏
04-10 607
数据量越大越需要对flink进行精细化调优
hadoop 运行成功代码（wordcount）
03-15
hadoop wordcount 实验，成功运行 maven项目（全部源代码）
hadoop上运行Java程序
王洋的专栏
04-20 1万+
第一种：原生态运行jar包 1，利用eclipse编写Map-Reduce方法，一般引入Hadoop-core-1.1.2.jar。注意这里eclipse里没有安装hadoop的插件，只是引入其匝包，该eclipse可以安装在windows或者linux中，如果是在windows中安装的，且在其虚拟机安装的linux，可以通过共享文件夹来实现传递。 2，编写要测试的数据，如命名为tempdat
hadoop入门（一） 让hadoop跑起来
u011495642的博客
04-17 611
学东西务必让他先跑起来1.首先参考https://jingyan.baidu.com/article/922554467fe839851748f446.html 下载hadoop稳定版2.粘贴到linux系统中 或者如果是大型服务器就上传上去3.命令行解压  [root@localhost hadoop]# tar -xzvf hadoop-2.9.0.tar.gz 这里出个意外发现自己下的是ha...
hadoop任务运行源代码深究
快乐程序员的专栏
03-24 1066
1、TaskTracker.TaskInProgress.launchTask()：创建并启动TaskRunner，对于MapTask，创建的是MapTaskRunner，对于ReduceTask，创建的是ReduceTaskRunner 2、调用TaskRunner.start()：设置child进程的classpath、启动命令、标准输出、错误输出、启动参数、日志大小限制、工作目录等 3、
在Hadoop上跑sql的数据工具
u012388497的专栏
10-30 1091
csdn的一则新闻，链接：http://www.csdn.net/article/2013-02-25/2814255-sql-is-next-for-hadoop。 要点：下一代的SQL-on-Hadoop工具并不仅仅只是商业智能，也不是仅仅只能读取存储在Hadoop上数据的数据库产品， EMC Greenplum, HP Vertica, IBM Netezza, ParAccel, M
Hadoop整体框架
热门推荐
爱吃串串的瘦子的博客
07-17 1万+
大数据框架 目录 大数据框架 一、Hodoop 四大组件：HDFS/MapReduce/YARN/Common 二、Zookeeper 三、Hive 四、Spark 五、ETL 六、ngnix 七、Redis 八、Oracle 十一、Jsp/node.js/JQueryEcharts 一、hadoop http://blog.csdn.net/huanglong8/...
Flink------优化
h1231233211的博客
09-01 1079
1、Flink 内存优化 1.1Flink 的内存管理 开源的大数据框架基本上大多数都是基于 JVM 运行的，如 Hadoop、Spark、 Storm，但是基于 JVM 的内存管理机制往往存在着类似于内存溢出等问题，主要 是因为创建的对象过多而超过 JVM 的最大堆内存限制，却没有被有效的回收掉， 仅仅靠 JVM 所提供的各种垃圾回收机制很难解决内存溢出等问题。尤其是几十 甚至上百 G 的内存应用时会生成大量对象，Java GC 可能会被反复触发，其中 Full GC 或 Major GC 的开销是非常大
红队系列-网络安全知识锦囊(持续更新)
最新发布
aming小老弟
11-09 837
AJP13是定向包协议。因为性能原因，使用二进制格式来传输可读性文本。AJP协议：WEB服务器通过TCP连接和SERVLET容器连接。为了减少进程生成socket的花费，WEB服务器和SERVLET容器之间尝试保持持久性的TCP连接，对多个请求/回复循环重用一个连接。一旦连接分配给一个特定的请求，在请求处理循环结束之前不会在分配。换句话说，在连接上，请求不是多元的。这个是连接两端的编码变得容易，虽然这导致在一时刻会有很多连接。
远程服务器跑matlab代码-clusterhowto:集群方法
05-21
远程服务器运行matlab代码如何使用我们的集群 我们为您的研究计算提供了一个高性能集群。 此回购服务器是群集使用的快速入门教程。 您可以在其他章节中找到更多详细信息。 5分钟快速入门 通过SSH访问服务器。 您可能需要在iPark之外。 您还需要一个SSH客户端。 如果使用Windows操作系统，则建议使用。 对于其他操作系统，可以使用系统默认终端。 > ssh [username]@10.8.4.170 然后，使用以下命令加载必要的模块以运行GPU代码： > module load slurm anaconda3/py3 cuda90/toolkit/9.0.176 cudnn/7.0 使用提交GPU作业 > srun --gres=gpu:1 python /home/feng/mcr/k_mnist_xregression_simple.py 如果遇到任何错误，请先运行module purge试。 如果错误仍然存​​在，请向服务器管理员报告您的问题。 1.访问集群 1.1帐号 对于新学生，您需要从申请集群帐户。 群集帐户包括3个部分：对管理节点（10.8.4.170）和存储节点
hadoop之测试KMeans(一)：运行源码实例
ShiZhixin的专栏
05-24 1万+
新学hadoop，测试了hello word级别的程序WordCount，打算用hadoop做聚类分析，这次测试KMeans，二维的数据，具体代码来自于http://download.csdn.net/detail/tinycui/4384750#comment，由于评论中大家对于文档偏少，所以这里详细的介绍一下我的测试过程（伪分布式），以供参考，同时感谢tinycui提供的源代码下载。
hadoop中本机和集群跑的结果不一样
warden的博客
05-02 370
hadoop中本机和集群跑的结果不一样问题描述解决方法 问题描述 我在写kmeans算法的时候，将Mapper和Reducer函数写到一个Kmeans方法内，首先在本机上跑，结果是通过的，然后在服务器上跑，出现了无效的结果。这个让我调试了快一个下午，终于发现了问题。 问题在于我给Kmeans方法设了一个全局变量feature_num。然后仅在map的setup中重写从conf中读取了feature...
实验室集群的使用，远程跑代码（配Anaconda虚拟环境、PyCharm远程解释器等），一站式教学
只想安静地敲个代码
04-18 4633
集群架构 PC -------- 跳板机（数据中心） ---- 内网 ---- 计算节点 数据中心中的个人目录会挂载到计算节点的目录下 在数据中心存放自己的环境和代码 在计算节点跑实验 win10命令行登录数据中心和计算节点 ssh -p [端口号] [用户名]@数据中心/计算节点IP 用MobaXterm登录数据中心和计算节点 新建session ssh跳板机（数据中心） 填写这些即可连上 ssh计算节点 要ssh内网的计算节点必须通过跳板机 就ok了 配Anaconda虚拟环境 配在数据中心，
Slurm超算集群跑代码教程
fs1341825137的博客
05-08 6197
Slurm超算集群跑代码教程 SLURM（Simple Linux Utility for Resource Management）是一种可扩展的工作负载管理器，已被全世界的国家级超级计算机中心广泛采用。 在算力中心GPU计算集群上，用户的所有计算任务和程序需要编写 SLURM 脚本，并在登 陆节点提交 SLURM 脚本。SLURM 脚本包含三个部分： （1）预定义的任务资 源需求； （2）预定义的环境设定或变量； （3）命令行形式的可执行程序或脚本。 文章目录Slurm超算集群跑代码教程登陆集群配置ana
hadoop 在hadoop集群上执行java程序
科大人的博客
03-04 4372
1、将java项目打包成jar文件 具体过程这里不解释，在我的另一篇博客 将java程序打包成jar 里，有win系统通过idea打包jar的教程。 2、打开hadoop集群，start-all.sh 3、将jar包传到linux平台上，删除jar包里的.SF .RSA *SF文件
在集群中运行代码
weixin_41803482的博客
10-24 824
1.打开mobaXterm进入集群，把镜像和代码上传到自己的账户目录下 2.导入镜像包，并启动 //cd到镜像所在的目录下 cd /home/zhanghan_yuanchunmiao_cs/pose/ //导入镜像包 sudo docker load < 镜像包名.tar //查看镜像是否导入成功 sudo docker images 3.第一次打开进入镜像，并创建一个容器 sudo d...
玩转大数据！Hadoop在大数据的地位如此之高？
weixin_43245070的博客
09-21 618
马云曾说过：“未来最大的资源就是数据，不参与大数据十年后一定会后悔！” 马云 Hadoop 最早诞生于 2006 年，并在 2008 年成为 Apache 顶级项目，起初，Hadoop在中国基本没有人注意到它，直到2011年开始，中国进入大数据风起云涌的时代，因为能够高效地处理大数据，以Hadoop为代表的家族软件，占据了大数据处理的庞大市场，继而成为大数据开发的标准。 Hadoop 不仅如此，它...
grep hadoop-hadoop-namenode-master.log
04-23
这是一个Linux命令，用于在文件中查找指定的文本字符串。在这个例子中，我们要在hadoop-hadoop-namenode-master.log文件中查找特定的字符串。具体使用方法为：在终端中输入以下命令： grep "hadoop-hadoop-namenode-master.log" 文件名 这将在指定的文件中搜索包含“hadoop-hadoop-namenode-master.log”的行，并将它们打印到终端上。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值