冬语的专栏

记录工作中获得的体会,和大家一起分享

Initialization failed for Block pool <registering> (Datanode Uuid unassigned)

一、原因 是namenode和datanode的clusterID不一致导致datanode无法启动. 二、解决: 2.1思路: 删除data、tmp、namenode 数据后,重新格式化。 2.2步骤: 查看tmp的物理路劲 core-site.xml &lt;!-- Hadoo...

2019-05-11 16:04:13

阅读数 23

评论数 0

CentOS 安装redis

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Redis是一种内存数据结构存储,用作数据库服务器,缓存和消息代理。 Redis是用C编程语言编写的。 &nbsp;&nbsp;&nbsp;&nbsp;&nb...

2019-05-06 10:04:48

阅读数 39

评论数 0

NoSuchMethodException ArrayWritable.<init>() 解决

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;在进行hadoop 的map reduce时,有时候会用ArrayWriteable作为KeyIN,KeyOut,ValueIn,ValueOut。编译时候可以通过,但是执行的时候会抛出异常NoSu...

2019-04-20 20:00:58

阅读数 26

评论数 0

同一表单上传头像并提交文本值

文章目录一、开发环境二、界面截图三、关键代码 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;传统的表单中要上传图片的时候,需要在form标签中追加enctype=“multipart/form-data” 参数。但是增加该属性后,同一个表单中 ...

2019-03-23 22:01:02

阅读数 50

评论数 4

通过java代码动态生成jar文件

&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;当java工程代码编写结束准备生成jar文件时,常见的方法是通过工程构建工具(如:maven、Ant)自动创建或者通过IDE导出jar包。其实还可以自己编写j...

2019-03-17 20:25:53

阅读数 55

评论数 0

Hadoop3与Hadoop2及Spark比较

&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;2017年12月发布的Hadoop 3标志着数据科学新时代的开始。Hadoop框架是整个Hadoop生态系统的核心,其他各种库都依赖它。 &amp;n...

2019-02-18 09:04:37

阅读数 301

评论数 0

ExitCodeException exitCode=-1073741701

&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;在博客windows系统通过eclipse远程MapReduce服务器中部署环境后,有个别机器会出现ExitCodeException exitCode=-1...

2019-01-23 18:07:23

阅读数 49

评论数 0

解决 MySQL is running but PID file could not be found

   通过【centOS中安装MySql及Hive】方式安装MySQL后,少数情况下启动服务提示错误 ERROR! The server quit without updating PID file (/usr/local/mysql/data/localhost.localdomain.pid)...

2019-01-16 17:19:51

阅读数 251

评论数 2

Python3 常见安装错误及解决方法

错误一 缺少api-ms-win-crt-runtime-1-1-0.dll 原因: 系统缺少运行环境。 解决: 下载链接:https://pan.baidu.com/s/1k0xdQmgZ3x_KmGMRtETP3w 提取码:hzz6 安装 01-Windows6.1-KB2999226-x6...

2019-01-05 10:13:04

阅读数 214

评论数 0

通过CMD结束端口被占用的进程

文章目录一、代码二、运行 &amp;nbsp; &amp;nbsp; &amp;nbsp; 开发程序过程中,经常会遇到【xx端口被占用】的情况,一种解决方法就是通过任务管理器结束对应的进程,如果任务管理器被禁用,往往只能重启机器。以下是我写的一段cmd批处理,用于结束被占用...

2018-12-19 09:53:03

阅读数 72

评论数 0

shell 基础练习

列车指定目录中文件的个数和目录的个数(不包括子目录) 方法一(会把软连接作为文件计算) #!/bin/bash path=&amp;amp;amp;amp;amp;amp;amp;amp;quot;/home/learner1/dir1211/*&amp;amp;amp;...

2018-12-14 16:45:28

阅读数 106

评论数 0

IDEA中运行Spark

   IDEA中运行Spark有两种方式本地模式和远程模式。 1.本地模式    本地Spark程序调试需要使用local提交模式,即将本机当做运行环境,Master和Worker都为本机。 Maven依赖 &amp;lt;?xml version=&quot;1.0&...

2018-12-05 14:34:50

阅读数 229

评论数 0

Spark-Shell运行任务

文章目录1.Spark-Shell 交互式编程1.1 启动命令1.2 Spark-Shell中运行wordcount2. spark-submit提交Job    开始本篇博客之前,请先准备好环境,参见【上一篇 Spark集群部署】 1.Spark-Shell 交互式编程 1.1 启动命令 bin...

2018-12-05 14:14:26

阅读数 205

评论数 0

Spark集群部署

文章目录1.集群角色2.安装部署 1.集群角色    从物理部署层面上来看,Spark主要分为两种类型的节点,Master节点和Worker节点,Master节点主要运行集群管理器的中心化部分,所承载的作用是分配Application到Worker节点,维护Worker节点,Driver,Appl...

2018-12-05 10:59:10

阅读数 53

评论数 0

Spark概述

文章目录1.什么是spark2.Spark特点3. Spark用途 1.什么是spark    Spark是一种快速、通用、可扩展的大数据分析引擎,2009年诞生于加州大学伯克利分校AMPLab,2010年开源,2013年6月成为Apache孵化项目,2014年2月成为Apache顶级项目。项目...

2018-12-05 09:54:35

阅读数 42

评论数 0

大数据学习之路

目录   一、发展趋势 二、使用技术 三、高校课程大纲建议 一、发展趋势         大数据开启了一次重大的时代转型,正在改变我们的生活以及理解世界的方式,而更多的改变正在蓄势待发。         据估算,全球数据总量预计2020年达到44个ZB(1ZB=10亿TB=1万亿GB...

2018-11-04 20:46:39

阅读数 1628

评论数 1

ExitCodeException exitCode=-1073741515 异常解决

&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;在博客《通过Idea远程调试Hadoop集群》中部署环境后,有个别机器会出现ExitCodeException exi...

2018-10-15 13:38:09

阅读数 1440

评论数 3

通过Idea远程调试Hadoop集群

&amp;amp;nbsp; &amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;早期的开发中经常用eclipse远程调试Hadoop集群,近期Idea的市场占有率逐渐增加,本文介绍如何在通过Ide...

2018-09-25 17:13:21

阅读数 624

评论数 1

javaEE重定向传递参数乱码解决

在javaEE中通过重定向后面的问号传递中文,会有乱码问题。 问题 response.sendRedirect(&quot;DeptListServlet?msg=该条记录已经被删除&quot;); 解决 通过URLEncoder进行中文编码 ...

2018-09-18 10:33:54

阅读数 133

评论数 0

Excel中通过FREQUENCY统计分数段

本文主要介绍Excel中通过FREQUENCY函数,统计各个分数段的人数。 原始数据 操作步骤 根据各个分数段(G列),算出临界点(H列) 鼠标选中【个数】列(H5:H9) 在输入栏中输入对应的列【=FREQUENCY(D4:D20,H5:H9)】,如图 4.输入第3步的数据后...

2018-08-24 21:56:54

阅读数 823

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭