- 博客(25)
- 问答 (13)
- 收藏
- 关注
RSS订阅转载 eclipse window下连接Hadoop2.0报错：local host is: "win/127.0.0.1"; destination host is: "10.2.3.1":50070;
eclipse连接远程Hadoop错误信息：Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : local host is: "ubunt...
2018-03-28 10:12:41
2405
转载 spark submit参数及调优
park submit参数介绍你可以通过spark-submit --help或者spark-shell --help来查看这些参数。使用格式: ./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --deploy-mode <deploy-mode> \ --conf ...
2018-03-27 10:39:18
248
转载 一段实用的maven pom:将项目依赖打包到文件夹或打入jar中
使用了maven-assembly-plugin插件和maven-dependency-plugin：[html] view plain copy<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLo...
2018-03-23 18:16:04
1031
转载 Java代码编译过程简述
代码编译是由Javac编译器来完成，流程如下图1所示： 图1 Javac是一种编译器，能将一种语言规范转化成另外一种语言规范，通常编译器都是将便于人理解的语言规范转化成机器容易理解的语言规范，如C/C++或者汇编语言都是将源代码直接编译成目标机器码，这个目标机器代码是CPU直接执行的指令集合。这些指令集合也就是底层的一种语言规范。 Javac的编译器也是...
2018-03-23 18:12:32
217
转载 maven的package与install命令区别
如果b项目依赖a项目，而a打了包(package),jar仅仅时打到了a项目的target下。这时编译b项目，还是会报错，找不到所依赖的a项目，说明b项目在本地仓库是没有找到它所依赖的a项目。然后，我install a项目这时，有以下日志,[INFO] Installing G:\projects\a\target\a-0.0.1-SNAPSHOT.jar to F:\repository\co...
2018-03-23 17:30:28
259
转载 Spark on Yarn的运行原理
一、YARN是集群的资源管理系统1、ResourceManager：负责整个集群的资源管理和分配。2、ApplicationMaster：YARN中每个Application对应一个AM进程，负责与RM协商获取资源，获取资源后告诉NodeManager为其分配并启动Container。3、NodeManager：每个节点的资源和任务管理器，负责启动/停止Container，并监视资源使用情况。4、...
2018-03-23 10:23:36
369
转载 Windows环境下 Hadoop Error: JAVA_HOME is incorrectly set. 问题
最近尝试在windows开发MR程序并且提交Job，在解压缩好hadoop，配置好环境变量后，打开cmd 输入hadoop version 的时候出现以下错误：Error: JAVA_HOME is incorrectly set. Please update F:\hadoop\conf\hadoop-env.cmd出现这个问题，我首先打了下java -versionjava ver...
2018-03-22 13:41:22
1150
1
转载 Eclipse 在loading workbench时闪退并提示查看.log
启动Eclipse时,在loading workbench时很快就闪退，反复启动几次都是这种情况，关机重启后还是出现这种情况，并且每次闪退后都提示查看\workspace\.metadata\.log ，进入该目录中，发现有如下异常信息记录：[html] view plain copy!ENTRY org.eclipse.e4.ui.workbench.swt 4 2 2016-08-23 08:...
2018-03-22 10:49:46
282
转载 impala-shell导入导出
impala-shell导入导出(tip:将select * from config.price_test limit 3，替换为需要导出的查询sql即可,分割符号可以自选)参数说明： • -q query （--query=query） 从命令行执行查询，不进入impala-shell • -d default_db （--database=default_db） 指定数据库 • -B（-...
2018-03-15 17:46:39
750
转载 java控制台信息输出到文件(System.out)
我们在写java程序的时候， 经常使用System.out .* 来输出相关信息 ；当我们需要将控制台信息输出到本地文件的时候，有很多种方法，比如使用FileOutputStream 类等等；如果觉得用输出流比较费事或者对于初学者来说，可以用PrintStream 类来输出到文件；代码如下，很简单方便：[java] view plain copy package test; import j...
2018-03-15 15:35:33
7806
转载 HBase表预分区
在创建Hbase表的时候默认一张表只有一个region，所有的put操作都会往这一个region中填充数据，当这个一个region过大时就会进行split。如果在创建HBase的时候就进行预分区则会减少当数据量猛增时由于region split带来的资源消耗。HBase表的预分区需要紧密结合业务场景来选择分区的key值，每个region都有一个startKey和一个endKey来表示该region...
2018-03-15 14:43:49
695
转载 zookeeper异常ConnectionLossException的解决办法
今天在用centerOS装zookeeper，然后本地搭建dubbo项目，注册到zookeeper上时出现了这个错误Exception in thread "main" org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /dubbo 搞了快一天的时间...
2018-03-13 20:35:10
3512
转载 配置maven私服nexus
1、Nexus简介1.1 Nexus概述Nexus是一个强大的Maven仓库管理器，它极大地简化了自己内部仓库的维护和外部仓库的访问。利用Nexus你可以只在一个地方就能够完全控制访问和部署在你所维护仓库中的每个Artifact。Nexus是一套“开箱即用”的系统不需要数据库，它使用文件系统加Lucene来组织数据。Nexus使 用ExtJS来开发界面，利用Restlet来提供完整的REST AP...
2018-03-13 13:50:35
245
转载 【Maven用户手册】Maven之setting.xml配置文件详解
setting.xml配置文件maven的配置文件settings.xml存在于两个地方：1.安装的地方：${M2_HOME}/conf/settings.xml2.用户的目录：${user.home}/.m2/settings.xml前者又被叫做全局配置，对操作系统的所有使用者生效；后者被称为用户配置，只对当前操作系统的使用者生效。如果两者都存在，它们的内容将被合并，并且用户范围的setting...
2018-03-13 13:37:07
314
转载 Maven查看当前生效的settings.xml
用mvn help:effective-settings可以查看当前生效的settings.xml：mvn help:effective-settings[INFO] Scanning for projects...[INFO] [INFO] ------------------------------------------------------------------------[...
2018-03-13 13:36:07
2389
转载 错误LifecyclePhaseNotFoundException，Unknown lifecycle phase "mvn". You must specify a valid lifecycle
Unknown lifecycle phase “”. You must specify a valid lifecycle phase or a goal in the format : or :[:]:. Available lifecycle phases are: validate, initialize, generate-sources, process-sources, genera...
2018-03-13 13:35:23
2232
转载 maven配置jdk1.8环境
<!-- 局部jdk配置，pom.xml中 --> <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> ...
2018-03-12 11:38:43
2161
转载 执行hadoop jar命令时报Not a valid JAR的原因分析和解决方案
执行hadoop jar命令时报Not a valid JAR错的原因是执行该命令是在本地文件系统下，而非hdfs文件系统，所以若是hdfs上的jar包的路径就会报Not a valid JAR的错误，如下图：改成本地jar包的路径后即可正确执行：hadoop jar Desktop/WordCount.jar mr.WordCount /wsd/input/ /wsd/output/output...
2018-03-11 14:43:27
8389
转载 hadoop错误java.io.IOException Failed to replace a bad datanode on the existing pipeline due to no more
错误： java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try原因： 无法写入；我的环境中有3个datanode，备份数量设置的是3。在写操作时，它会在pipeline中写3个机器...
2018-03-10 22:58:18
6175
转载 Maven C盘用户文件下没有.m2
在配置好Maven的环境之后，先运行一条命令： mvn help:system该命令会打印出所有的Java系统属性和环境变量。 运行这条命令的目的是让Maven执行一个真正的任务。可以从命令行上看到Maven会下载maven-help-plugn，包括pom文件和jar文件。这些文件都被下载到了Maven的本地仓库中。 然后打开当前用户的目录，可以在其中找到.m2文件夹.m2文件里没...
2018-03-10 19:57:11
2011
转载 解决 Unable to load native-hadoop library for your platform
安装hadoop启动之后总有警告：Unable to load native-hadoop library for your platform... using builtin-java classes where applicable原因：Apache提供的hadoop本地库是32位的，而在64位的服务器上就会有问题，因此需要自己编译64位的版本。1、首先找到对应自己hadoop版本的64位的l...
2018-03-09 22:20:48
426
转载 修改CentOS默认yum源为国内yum镜像源
本文转载自互联网，原文地址：http://blog.csdn.net/inslow/article/details/54177191有时候CentOS默认的yum源不一定是国内镜像，导致yum在线安装及更新速度不是很理想。这时候需要将yum源设置为国内镜像站点。国内主要开源的开源镜像站点应该是网易和阿里云了。修改CentOS默认yum源为mirrors.163.com1、首先备份系统自带yum源配...
2018-03-08 21:45:46
288
转载 RHEL7配置中文输入法-智能拼音
本文转载自网络（https://www.cnblogs.com/hi-frank/p/7355187.html）RHEL7.x（CentOS7.x）系统相对之前的6.x系统变化较大，虽然安装时选择了中文环境，但是进入系统后，在控制台及编辑器中仍无法切换输入法进行中文输入。原来还要这么配置,，才能愉快的使用“拼音”输入法。以下内容以RHEL7.3中文环境，root用户为例进行描述。1. Linux桌...
2018-03-08 14:47:28
5982
空空如也
spark的一个疑问，请大神解答。
2020-04-10
oozie配置任务，任务可以执行成功，但是workflow显示的是kill
2019-08-08
oracle客户端安装的时候，到create inventory的时候卡住了。
2019-08-08
正则表达式如何匹配非法字符问题
2019-02-20
通过正则表达式替换正则表达式问题190220
2019-02-20
ERROR 1046 (3D000): No database selected
2018-12-20
hbase中的hbase:acl表丢失该如何找回?或者自动生成
2018-04-21
Server not yet listening on http port 8080
2018-01-22
impalad服务启动不了，如何解决？
2018-01-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人