2019年03月_青山流水在深谷

12月 11月 09月 08月 07月 06月 05月 03月 01月

原创 WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!

从远程机器拉取文件报错：[root@snamenode keytab]# scp dp.jerry.keytab http.jerry.keytab jerry@localhost:/home/jerry/14keytab@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: REMOTE HOST...

2019-03-30 15:14:24 173

原创本地搭建Kerberos 客户端删除

1.卸载相应的Kerberos 组件：centos/redhat:yum remove krb5-libs krb5-workstation或者(ubuntu)：sudo apt-get remove krb5-user libpam-krb5 libpam-ccreds auth-client-config2.查看自己本地$HADOOP_HOME/etc/hadoo...

2019-03-29 19:24:21 3495

原创 No module named MySQLdb

You need to use one of the following commands. Which one depends on what OS and software you have and use.easy_install mysql-python (mix os) pip install mysql-python (mix os/ python 2) pip inst...

2019-03-29 16:19:59 143

原创 ubuntu + pyspark 开发环境搭建

1.下载,安装anaconda .https://www.anaconda.com/distribution/sudo bash Anaconda3-5.2.0-Linux-x86_64.sh全部使用默认选项，可以指定anaconda 的安装目录，最后遇到vscode 时，选择no2.安装pycharm(专业版：需要激活码，社区版）http://www.jetbrai...

2019-03-29 10:50:42 1262

原创 H2o-spark

1.满足下面条件：Linux/OS X/Windows Java 8+ Python 2.7+ For Python version of Sparkling Water (PySparkling) Spark 2.3andSPARK_HOMEshell variable must point to your local Spark installation2.安装对应版本...

2019-03-28 11:05:57 796

原创 ssh 安装出错

1.ssh 安装出错：解决方法：删除锁文件: 无法获得锁 /var/lib/dpkg/lock - open (11: 资源暂时不可用)E: 无法锁定管理目录(/var/lib/dpkg/)，是否有其他进程正占用它？服务端传输服务端传输scp /server/app/anaconda3-python3.6.4.tgz jerry@10.111.23.70:/home/...

2019-03-28 10:36:08 533

原创 Hadoop JPS 进程名无法显示

1.jps无法查看进程名：2897 ExecutorLauncher16994 CoarseGrainedExecutorBackend17044 QuorumPeerMain6932 NameNode16966 CoarseGrainedExecutorBackend6503 DataNode27735 -- process information unavailable764...

2019-03-28 10:34:04 1592

原创 Anaconda 安装

Anaconda 安装1.下载 Anaconda-*-*.sh文件（同python版本）2.安装anacondabash Anaconda3-5.2.0-Linux-x86_64.sh进入会查看注册信息后，点击yes指定安装目录（有默认安装目录）Anaconda3 will now be installed into this location:/home/jerry/...

2019-03-28 10:31:44 1931

原创 Ubuntu 密码忘记/密码正确无法进入

<1>密码忘记修改：1.重启电脑后，，启动后不断点击Esc 或F12 进入Ubuntu 单机用户，选择Ubuntu 高级选项(Advanced options for Ubuntu)，点击Enter 键进入2. 选择最高版本的recovery mode3.替换里面 " ro recovery modeset"，将其替换为 quiet splash rw ...

2019-03-27 20:22:44 362

原创 Kerberos 原理解析

原理解析https://blog.csdn.net/wulantian/article/details/42418231基于ambari 的Kerberos集群安装https://blog.csdn.net/sw562810770/article/details/79639659

2019-03-27 15:48:51 159

原创 supervisor 配置多进程守护

1.supervisor进程[include]files=conf.d/*.conf[inet_http_server] ; inet (TCP) server disabled by defaultport=hostname:port ; (ip_address:port specifier, *:port for all iface)usernam...

2019-03-26 15:57:11 16

原创 supervisor安装总结

1.supervisor: couldn't chdir to /home/ec2-user/virtualenvs/wakeup-site/django-site: EACCESsupervisor: child process was not spawned因为安装是supervisor只能支持Python2.x ,所以用virtualenv安装后，使用其中的python（2.x)安装...

2019-03-26 15:47:20 5387

原创 linux vim总结

一、把空格替换为换行:%s/ /\r/g ：\r :是换行的转义二、根据逗号进行换行:%s/,/\r/g ：\r:是换行的转义二、把空行删除^$ : ^:开始 $:结束，开始结束都是空的:g/^$/d 三排序1.指定分隔符，以第几个内容排序（以 ":" 分割后，以第二个内容排序）cat /etc/passwd | sort -t...

2019-03-26 15:44:34 2589

原创 Ubuntu 安装git 总结

1. ubuntu 16.04 安装 git报错 :依赖: liberror-perl 但无法安装它解决：更新，升级apt-get sudo apt-get updatesudo apt-get upgrade2.初始化本地仓库1.初始化本地仓库git init2.初始化全局变量git config --global user.email maya...

2019-03-26 15:43:23 1303

原创 python 代码开发规范

1.字符缩紧，每级四个空格(一个Tab)：空格和制表符避免混用（python3 不允许）可以用pycharm reformat code去格式化，变成一个格式2.if 语句，多个条件（条件块），无明确对if内的编码规范，只对条件块1.多个条件缩进换行简化写法可以不需要：no_str_date_cols = [i[0] for i in df.dtypes if i[1] != 'st...

2019-03-26 15:41:20 1176

原创 Pyspark提交任务

1.压缩工程文件sudo zip -r Project.zip.gz ./*zip -r Project.zip ./*2.配置PYTHONPATH,指向该目录3.工程下创建配置文件conf.py文件PROJECT_SOURCE=r'/usr/Project.zip'2.代码引用外部模块（此代码可以嵌套在js, java，scala)#从conf引用模块路径fro...

2019-03-26 15:40:20 3082

原创基于ambari安装Kerberos client

1.安装kerberos依赖包（可以不安装，此为Ubuntu 依赖）yum install krb5-user libpam-krb5 libpam-ccreds auth-client-configyum install krb5-workstation2.拷贝kerberos 集群的 /etc/krb5.conf 到本地3.创建本地client 访问Kerberos集群...

2019-03-26 15:13:28 518

原创基于 ambari 安装 Kerberos 问题总结

更多问题解决来源https://steveloughran.gitbooks.io/kerberos_and_hadoop/content/sections/errors.html（包含大部分Kerberos问题，票据，server）https://www.bbsmax.com/A/rV574Yk9dP/1.问题：2019-03-22 20:53:01 WARN ScriptBa...

2019-03-26 15:12:03 2490

原创 spark + hadoop 访问基于Kerberos 安全认证、授权的hdfs集群

1.在本地安装kerberos client 组件yum install krb5-user libpam-krb5 libpam-ccreds auth-client-configyum install krb5-workstation2.拷贝kerberos 集群的 /etc/krb5.conf 到本地的 /etc/ (覆盖组件初始化的krb5.conf）3.拷贝...

2019-03-16 12:34:13 6798 1

原创基于ambari+hdfs 搭建Kerberos集群

1.下载jce并解压至JAVA_HOME/jre/lib/security目录下，AMbari所有节点均需要http://www.oracle.com/technetwork/java/javase/downloads/jce8-download-2133166.htmlunzip -o -j -q jce_policy-8.zip -d$JAVA_HOME/jre/lib/secur...

2019-03-16 12:14:11 1556

elasticsearch-5.6.11.tar.gz

Elasticsearch：,用于全文检索，站内搜索，价格监控，数据监控等，支持近实时响应

2019-08-02

Flume 根据字段进行路由插入 ES

基于Flume-1.8.0，ES-5.6.11 ，根据某个字段创建 type ,进行路由批量插入 ES，使用redis 缓存已从MySQL 查出的转换数据

2019-04-26

高可用mysql

介绍mysql高可用架构原理,搭建,优化,问题诊断,真正理解mysql高可用架构

2017-10-17

JXL-API文档

JXL操作EXCEL文件，对其进行读入，写出操作

2016-12-27

spring-mybatisjar包

2016-12-07

Maven私服Nexus

Maven私服-nexus

2016-12-07

验证码工程源码

在一个系统或项目中，登录时，验证码是不必可少，一来可以为安全登录多了一层保障，二则防止网络的攻击。验证码的生成有多种，有JS实现，也有框架自带，也有用开发语言实现，例如Java。以下介绍下java实现验证码的原理及过程。

2016-11-02

EditPlus绿色汉化版（无须破解）

EditPlus绿色汉化版（无须破解，无付费提示）

2014-03-07

JDBC连接Oralce数据库驱动

JDBC方式连接Oracle数据库的驱动，其中OJDBC5，OJDBC6时两个版本，classes12为单独版本，JDBC连接时需要把任意一个OJDBC版本和classes12一起加到Eclipse或MyEclipse中，否则无法运行。加入后选中工程，右键——〉Add build path正式加载到工程中。