weixin_44388193的博客

转载 解决不访问访问Azkaban UI界面的方法

1.在虚拟机...

转载 Scala 隐式（implicit）详解

阅读目录1、Spark 中的隐式思考 2、Scala 隐式使用方式 2.1隐式值 2.2 隐式视图 2.3 隐式类 3、Scala 隐私注意事项 3.1 转换时机 3.2 解析机制 3.3 转换前提 文章正文通过隐式转换，程序员可以在编写Scala程序时故意漏掉一些信息，让编译器去尝试在编译期间自动推导出这些信息来，这种特性可以极大的减少代码量，忽略...

原创 beforeTest没有执行

可能是导包导错了//import org.junit.Test;import org.testng.annotations.Test;import org.testng.annotations.AfterTest;import org.testng.annotations.BeforeTest;

转载 oozie错误：job一直在running或者SUSPENDED，但是就是不执行。任务单独执行是可以的。

1.问题描述一个简单的mapreduce的wordcount任务，单独使用yarn调用时没有任何问题，可以跑出来。但是，放入yarn的时候，就会出现问题。一直时Running的状态，而且hadoop对应目录下也没有输出结果的目录，很是头痛。2.原因：经过百般查找和无限次尝试，发现是job.properties的jobTracker属性端口配置错误导致。因为Oozie去调用Hadoop...

原创 EnvironmentError: mysql_config not found

yum install mysql-devel

转载 关于hue安装后出现KeyError: "Couldn't get user id for user hue"的解决方法

首先说明出现此问题的原因是因为你使用的root用户安装了hue,然后在root用户下使用的build/env/bin/supervisor，如下图所示那样：知道了原因，就容易解决问题了。首先要创建个普通用户，并给添加密码。如果密码给的过于简单，会给出提示，忽略就行，如下图：然后，我们要给刚才解压的hue文件改变拥有者属性，通过 chown -R hue 文件地址。如下图：最...

转载 Hue安装及使用

Apache Hue一、 Apache Hue介绍1． Hue是什么#后台启动hue和关闭huenohup build/env/bin/supervisor &ps -ef | grep huekill -9 xxx(先杀死build/env/bin/supervisor的端口)kill -9 xxx(再杀死runcherrypyserver的端口)123456...

原创 oozie错误：job一直在running或者SUSPENDED，但是就是不执行。任务单独执行是可以的。

https://blog.csdn.net/u010886217/article/details/84845945

原创 azkaban执行简单任务出错可以去看一下配置文件azkaban.properties里的dir目录尝试下改成绝对路径

如题

原创 启动azkaban时出现User xml file conf/azkaban-users.xml doesn't exist问题解决（图文详解）

启动azkaban时出现User xml file conf/azkaban-users.xml doesn't exist问题解决（图文详解）https://www.cnblogs.com/zlslch/p/7124193.htmlazkaban web ui界面出现异常诡异“丑”界面的问题解决（图文详解）https://www.cnblogs.com/zlslch/p/712420...

原创 flume

https://blog.csdn.net/dehu_zhou/article/details/81939965 修改Zookeeper输出日志 zookeeper.out输出路径https://www.cnblogs.com/mingforyou/p/8297721.html 提示-bash: telnet: command not found的解决方法https://www...

转载 hive中的正则表达式及其应用

今天来说一下hive中的正则表达式，主要包含：元字符匹配、位置匹配、频率匹配1、元字符匹配(.)表示匹配除换行符以外的任意字符。(\w) 表示匹配字母、下划线、数字或汉字(\\W)。(\d) 表示匹配数字(\s) 表示匹配任意的空白符([ ])表示匹配方括号中任一字符([^匹配内容]) 表示匹配方括号中任一字符2、位置匹配(^) 表示匹配字符串的开始，...

转载 Hadoop分区与分组

面以《Hadoop权威指南》中的一个例子来解释分区与分组的关系。Hadoop权威指南(中文版-带目录索引)PDF 下载见http://www.linuxidc.com/Linux/2013-05/84948.htmHadoop权威指南（中文第2版）PDFhttp://www.linuxidc.com/Linux/2012-07/65972.htm对于一般的键，只需要key值相同，则...

转载 HDFS部分：8020端口，9000端口和50070端口号，50090,9083,2181，6379的区别

8020端口：在cd /opt/sxt/hadoop-2.6.5/etc/hadoop/coresite.xml下的配置：<property><name>dfs.namenode.rpc-address.mycluster.nn1</name><value>node01:8020</value></proper...

原创 MapReduceJob设置集群运行模式

package cn.coder.mapreduce;import com.google.common.base.Strings;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import org...

转载 HADOOP中的CRC数据校验文件

概要Hadoop系统为了保证数据的一致性，会对文件生成相应的校验文件(.crc文件)，并在读写的时候进行校验，确保数据的准确性。在本地find -name *.crchadoop比较适合做离线处理，这个是众所周知的，而且hdfs为了保证数据的一致性，每次写文件时，针对数据的io.bytes.per.checksum字节，都会创建一个单独的校验和。默认值为512字节，因为crc-32校验...

转载 ZooKeeper 原理及其在 Hadoop 和 HBase 中的应用

ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是GoogleChubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。简介ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是GoogleChubby的开源实现。分布式应用程序可以基于ZooKee...

原创 hadoop sbin 目录

sbin/start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManagersbin/stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeMana...

原创 下载openssl

转载 Hadoop启动datanode失败或无法启动

一、问题描述当我多次格式化文件系统时，如[root@master]# cd /usr/local/hadoop/etc/bin/hdfs namenode -format会出现datanode无法启动，查看日志（/usr/local/hadoop/logs/hadoop-hadoop-datanode-xsh.log），发现错误为：2018-0...

转载 Unable to read additional data from server sessionid 0x0, likely server has closed socket, closing s

今天在本机安装了三个zookeeper，分别为server1,server2,server3。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 tickTime=2000 initLi...

原创 Linux crontab命令详解

crontab：定时任务的守护进程，精确到分，设计秒的我们一般写脚本 -->相当于闹钟 日志文件: ll /var/log/cron* 编辑文件： vim /etc/crontab 进程：ps -ef | grep crond ==> /etc/init.d/crond restart 作用：定时备份，...

转载 Linux下修改Mysql的用户(root)的密码

修改的用户都以root为列。一、拥有原来的myql的root的密码；方法一：在mysql系统外，使用mysqladmin#mysqladmin -u root -p password "test123"Enter password: 【输入原来的密码】方法二：通过登录mysql系统，#mysql -uroot -pEnter password: 【输入原来的密码】mysql&...

原创 在linux中，&和&&, |和|| ,&> 与 >的区别

对应刚接触linux命令的小伙伴们来说，这些符号一定是很困扰的下面我们一起来看这些符号区别和用法& 表示任务在后台执行，如要在后台运行如：[root@localhost local]# java -jar test.jar > log.txt &运行 test.jar程序 ，并且置于后台执行，执行的日志重定向 到当前默认的log.txt文件中&&amp...

原创 Windows下图文详解Mongodb安装及配置

https://www.cnblogs.com/wjaaron/p/7800490.html

原创 linux下运行elasticsearch报错

java.lang.UnsatisfiedLinkError: Native library解决办法 直接删除或备份Elasticsearch-a.b.c/lib目录下面的jna文件： mv jna-4.4.0.jar jna-4.4.0.jar.bak 在lib目录下： wgethttp://repo1.maven.org/maven2/net/java/dev/...

转载 linux创建用户su登录后显示为 bash-4.1$

https://blog.51cto.com/slient/1984062su user1之后显示的为：[root@localhost ~]# su user1 -s /bin/bashbash-4.1$而不是正常的[root@localhost ~]# su user1[user1@localhost root]$经过解决发现是缺少环境配置文件。所以通过复...

原创 安装Nginx过程中出现的错误：make： *** 没有规则可以创建“default”需要的目标“build”

https://blog.csdn.net/weixin_43773462/article/details/84349270

原创 关于switchhosts的一些问题

电脑没有hosts文件怎么办？https://jingyan.baidu.com/article/359911f5a931bc57ff030646.htmlswitchhost 文件下载https://github.com/oldj/SwitchHosts/releases打开switchhost报错https://blog.csdn.net/qq_39208536/ar...

转载 解决：clone 别人的Vue项目不能运行问题， node_modules missing

https://blog.csdn.net/guan__ye/article/details/804510721 首先安装node.js，官网地址：https://nodejs.org/zh-cn/download/2 使用npm淘宝镜像，避免npm下载速度过慢的问题：npminstall-gcnpm--registry=https://registry.npm.taobao...

原创 vue-devtools的安装与使用

https://www.cnblogs.com/momozjm/p/7098476.html看见浏览器右上角的图标不亮别以为插件装坏了....是启用vue程序时才能使用，微笑：）...

转载 在用Zuul的一些yml设置..

org.springframework.cloud.netflix.zuul.filters.route.support中的AbstractRibbonCommand类

原创 我太TM机智了Feign SocketTimeoutException

请看日志输出谢谢这是日志输出情况，第一次启动Feign超时feign.RetryableException: Read timed out解决办法：在你的yml文件中添加ribbon: ReadTimeout: 60000 ConnectTimeout: 60000ReadTimeout 默认是1000ms...

原创 IDEA出现Cannot download source

https://blog.csdn.net/qq_41594146/article/details/86244577照着这个搞发现不行，后来发现是网络问题...

原创 MarkDown无法显示预览窗口

通过我一点一点复制笔记内容发现是XML问题，在<后加个空格，注意是笔记里每个XML都加---END

原创 Type javax.xml.bind.JAXBContext not present

启动eureka报错Type javax.xml.bind.JAXBContext not present首先注意版本问题，我的：JDK9Spring Boot :: (v2.0.4.RELEASE)Finchley.SR1有人说spring boot 2.0 以上引入 <dependency> <groupId&...

原创 IDEA中设置Run Dashboard

https://blog.csdn.net/chinoukin/article/details/80577890重要的一点，重启IDEA~

原创 org.apache.ibatis.builder.BuilderException

一般都是没扫描上Mapper，END

原创 tk.mapper(通用mapper)出现的问题：Error invoking SqlProvider method (tk.mybatis.mapper.provider.SpecialProvid

转载自https://blog.csdn.net/u014534808/article/details/84993198有些BUG莫名其妙是因为包导错了....

原创 No plugin found for prefix 'tomcat7'

IDEA点击无法启动报No plugin found for prefix 'tomcat7'XXXXXX错误但是我web项目已经添加了插件了啊，百度也不知道为什么，随意在项目pom文件里添加了&lt;plugin&gt; &lt;groupId&gt;org.apache.tomcat.maven&lt;/groupId&gt; &lt;artifactId&gt;...