冬语的专栏

记录工作中获得的体会，和大家一起分享

原帝都的凛冬

各种AI、人工智能、大数据如秋日凉爽的风，杳然erzhi；区块链的风头得到短暂的下降。此次山竹台风造成了多少伤亡和破坏？人民的生命和财产遭受重大损失

2019-05-25 11:07:33

阅读数：13

评论数：2

原 Initialization failed for Block pool <registering> (Datanode Uuid unassigned)

一、原因是namenode和datanode的clusterID不一致导致datanode无法启动. 二、解决： 2.1思路：删除data、tmp、namenode 数据后，重新格式化。 2.2步骤：查看tmp的物理路劲 core-site.xml <!-- Hadoo...

2019-05-11 16:04:13

阅读数 23

评论数 0

译 CentOS 安装redis

     Redis是一种内存数据结构存储，用作数据库服务器，缓存和消息代理。 Redis是用C编程语言编写的。     &nb...

2019-05-06 10:04:48

阅读数 39

评论数 0

原 NoSuchMethodException ArrayWritable.<init>() 解决

     在进行hadoop 的map reduce时，有时候会用ArrayWriteable作为KeyIN,KeyOut，ValueIn,ValueOut。编译时候可以通过，但是执行的时候会抛出异常NoSu...

2019-04-20 20:00:58

阅读数 26

评论数 0

原同一表单上传头像并提交文本值

文章目录一、开发环境二、界面截图三、关键代码      传统的表单中要上传图片的时候，需要在form标签中追加enctype=“multipart/form-data” 参数。但是增加该属性后，同一个表单中 ...

2019-03-23 22:01:02

阅读数 50

评论数 4

原通过java代码动态生成jar文件

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;当java工程代码编写结束准备生成jar文件时，常见的方法是通过工程构建工具（如：maven、Ant）自动创建或者通过IDE导出jar包。其实还可以自己编写j...

2019-03-17 20:25:53

阅读数 55

评论数 0

译 Hadoop3与Hadoop2及Spark比较

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;2017年12月发布的Hadoop 3标志着数据科学新时代的开始。Hadoop框架是整个Hadoop生态系统的核心，其他各种库都依赖它。 &n...

2019-02-18 09:04:37

阅读数 301

评论数 0

原 ExitCodeException exitCode=-1073741701

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;在博客windows系统通过eclipse远程MapReduce服务器中部署环境后，有个别机器会出现ExitCodeException exitCode=-1...

2019-01-23 18:07:23

阅读数 49

评论数 0

原解决 MySQL is running but PID file could not be found

通过【centOS中安装MySql及Hive】方式安装MySQL后，少数情况下启动服务提示错误 ERROR! The server quit without updating PID file (/usr/local/mysql/data/localhost.localdomain.pid)...

2019-01-16 17:19:51

阅读数 251

评论数 2

原 Python3 常见安装错误及解决方法

错误一缺少api-ms-win-crt-runtime-1-1-0.dll 原因：系统缺少运行环境。解决：下载链接：https://pan.baidu.com/s/1k0xdQmgZ3x_KmGMRtETP3w 提取码：hzz6 安装 01-Windows6.1-KB2999226-x6...

2019-01-05 10:13:04

阅读数 214

评论数 0

原通过CMD结束端口被占用的进程

文章目录一、代码二、运行 &nbsp; &nbsp; &nbsp; 开发程序过程中，经常会遇到【xx端口被占用】的情况，一种解决方法就是通过任务管理器结束对应的进程，如果任务管理器被禁用，往往只能重启机器。以下是我写的一段cmd批处理，用于结束被占用...

2018-12-19 09:53:03

阅读数 72

评论数 0

原 shell 基础练习

列车指定目录中文件的个数和目录的个数（不包括子目录）方法一（会把软连接作为文件计算） #!/bin/bash path=&amp;amp;amp;amp;amp;amp;amp;quot;/home/learner1/dir1211/*&amp;amp;...

2018-12-14 16:45:28

阅读数 106

评论数 0

原 IDEA中运行Spark

IDEA中运行Spark有两种方式本地模式和远程模式。 1.本地模式本地Spark程序调试需要使用local提交模式，即将本机当做运行环境，Master和Worker都为本机。 Maven依赖 &lt;?xml version="1.0&...

2018-12-05 14:34:50

阅读数 229

评论数 0

原 Spark-Shell运行任务

文章目录1.Spark-Shell 交互式编程1.1 启动命令1.2 Spark-Shell中运行wordcount2. spark-submit提交Job 开始本篇博客之前，请先准备好环境，参见【上一篇 Spark集群部署】 1.Spark-Shell 交互式编程 1.1 启动命令 bin...

2018-12-05 14:14:26

阅读数 205

评论数 0

原 Spark集群部署

文章目录1.集群角色2.安装部署 1.集群角色从物理部署层面上来看，Spark主要分为两种类型的节点，Master节点和Worker节点，Master节点主要运行集群管理器的中心化部分，所承载的作用是分配Application到Worker节点，维护Worker节点，Driver，Appl...

2018-12-05 10:59:10

阅读数 53

评论数 0

原 Spark概述

文章目录1.什么是spark2.Spark特点3. Spark用途 1.什么是spark Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。项目...

2018-12-05 09:54:35

阅读数 42

评论数 0

原大数据学习之路

目录一、发展趋势二、使用技术三、高校课程大纲建议一、发展趋势大数据开启了一次重大的时代转型，正在改变我们的生活以及理解世界的方式，而更多的改变正在蓄势待发。据估算，全球数据总量预计2020年达到44个ZB（1ZB=10亿TB=1万亿GB...

2018-11-04 20:46:39

阅读数 1628

评论数 1

原 ExitCodeException exitCode=-1073741515 异常解决

&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;在博客《通过Idea远程调试Hadoop集群》中部署环境后，有个别机器会出现ExitCodeException exi...

2018-10-15 13:38:09

阅读数 1440

评论数 3

原通过Idea远程调试Hadoop集群

&amp;nbsp; &amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;早期的开发中经常用eclipse远程调试Hadoop集群，近期Idea的市场占有率逐渐增加，本文介绍如何在通过Ide...

2018-09-25 17:13:21

阅读数 624

评论数 1

原 javaEE重定向传递参数乱码解决

在javaEE中通过重定向后面的问号传递中文，会有乱码问题。问题 response.sendRedirect("DeptListServlet?msg=该条记录已经被删除"); 解决通过URLEncoder进行中文编码 ...

2018-09-18 10:33:54

阅读数 133

评论数 0

原 Excel中通过FREQUENCY统计分数段

本文主要介绍Excel中通过FREQUENCY函数，统计各个分数段的人数。原始数据操作步骤根据各个分数段(G列)，算出临界点(H列) 鼠标选中【个数】列（H5:H9）在输入栏中输入对应的列【=FREQUENCY(D4:D20,H5:H9)】，如图 4.输入第3步的数据后...

2018-08-24 21:56:54

阅读数 823

评论数 0

提示

确定要删除当前文章？

取消删除