Hadoop
哈哈书架
对不对,试过才知道
展开
-
Hadoop系列——Windows系统搭建hadoop-2.7.6
准备工作:下载JDK,并配置JAVA环境变量;具体步骤不知道的去问度娘 下载Hadoop 戳这里,看上哪个版本就下载那个版本,我这边用的是hadoop-2.7.6 下载winutils 戳这里,这个是别人编译好的hadoop的windows版本二进制文件,不需要我们自己进行编译。注意:Hadoop版本和winutils版本选择不要相差太多,不然各种坑等着你去填,最后还得乖乖用版本相近的...原创 2020-01-02 16:02:40 · 969 阅读 · 1 评论 -
Hadoop系列——SpringBoot集成Hadoop、实现hdfs上传下载文件(2)
在Hadoop系列——SpringBoot集成Hadoop、实现hdfs上传下载文件(1)基础上做变动 yml文件配置 hadoop.name-node: hdfs://localhost:9000 HadoopConfig.java @Configuration@ConditionalOnProperty(name="hadoop.name-node")@Slf4j...原创 2020-01-09 17:28:29 · 2873 阅读 · 0 评论 -
Hadoop系列——SpringBoot集成Hadoop、实现hdfs上传下载文件(1)
pom.xml <!-- hadoop --><dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.6</version>...原创 2020-01-09 15:44:03 · 3474 阅读 · 2 评论 -
Hadoop系列——异常处理(org.apache.hadoop.hdfs.DFSClient - DataStreamer Exception)
报错: WARN org.apache.hadoop.hdfs.DFSClient - DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException: File /user/erp_finance/erp_finance_dw/hdp/ods_third_party_zfb_bill_m/year=2019/month=12/1_...原创 2020-01-03 15:40:18 · 4846 阅读 · 0 评论