- 博客(20)
- 资源 (15)
- 收藏
- 关注
原创 WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!
从远程机器拉取文件报错:[root@snamenode keytab]# scp dp.jerry.keytab http.jerry.keytab jerry@localhost:/home/jerry/14keytab@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: REMOTE HOST...
2019-03-30 15:14:24 173
原创 本地搭建Kerberos 客户端删除
1.卸载相应的Kerberos 组件:centos/redhat:yum remove krb5-libs krb5-workstation或者(ubuntu):sudo apt-get remove krb5-user libpam-krb5 libpam-ccreds auth-client-config2.查看自己本地$HADOOP_HOME/etc/hadoo...
2019-03-29 19:24:21 3496
原创 No module named MySQLdb
You need to use one of the following commands. Which one depends on what OS and software you have and use.easy_install mysql-python (mix os) pip install mysql-python (mix os/ python 2) pip inst...
2019-03-29 16:19:59 143
原创 ubuntu + pyspark 开发环境搭建
1.下载,安装anaconda .https://www.anaconda.com/distribution/sudo bash Anaconda3-5.2.0-Linux-x86_64.sh全部使用默认选项,可以指定anaconda 的安装目录,最后遇到vscode 时,选择no2.安装pycharm(专业版:需要激活码,社区版)http://www.jetbrai...
2019-03-29 10:50:42 1263
原创 H2o-spark
1.满足下面条件:Linux/OS X/Windows Java 8+ Python 2.7+ For Python version of Sparkling Water (PySparkling) Spark 2.3andSPARK_HOMEshell variable must point to your local Spark installation2.安装对应版本...
2019-03-28 11:05:57 796
原创 ssh 安装出错
1.ssh 安装出错:解决方法: 删除锁文件: 无法获得锁 /var/lib/dpkg/lock - open (11: 资源暂时不可用)E: 无法锁定管理目录(/var/lib/dpkg/),是否有其他进程正占用它?服务端传输服务端传输scp /server/app/anaconda3-python3.6.4.tgz jerry@10.111.23.70:/home/...
2019-03-28 10:36:08 533
原创 Hadoop JPS 进程名无法显示
1.jps无法查看进程名:2897 ExecutorLauncher16994 CoarseGrainedExecutorBackend17044 QuorumPeerMain6932 NameNode16966 CoarseGrainedExecutorBackend6503 DataNode27735 -- process information unavailable764...
2019-03-28 10:34:04 1592
原创 Anaconda 安装
Anaconda 安装1.下载 Anaconda-*-*.sh文件(同python版本)2.安装anacondabash Anaconda3-5.2.0-Linux-x86_64.sh进入会查看注册信息后,点击yes指定安装目录(有默认安装目录)Anaconda3 will now be installed into this location:/home/jerry/...
2019-03-28 10:31:44 1931
原创 Ubuntu 密码忘记/密码正确无法进入
<1>密码忘记修改:1.重启电脑后,,启动后不断点击Esc 或F12 进入Ubuntu 单机用户 ,选择Ubuntu 高级选项(Advanced options for Ubuntu),点击Enter 键进入2. 选择最高版本的recovery mode3.替换里面 " ro recovery modeset",将其替换为 quiet splash rw ...
2019-03-27 20:22:44 362
原创 Kerberos 原理解析
原理解析https://blog.csdn.net/wulantian/article/details/42418231基于ambari 的Kerberos集群安装https://blog.csdn.net/sw562810770/article/details/79639659
2019-03-27 15:48:51 159
原创 supervisor 配置多进程守护
1.supervisor进程[include]files=conf.d/*.conf[inet_http_server] ; inet (TCP) server disabled by defaultport=hostname:port ; (ip_address:port specifier, *:port for all iface)usernam...
2019-03-26 15:57:11 16
原创 supervisor安装总结
1.supervisor: couldn't chdir to /home/ec2-user/virtualenvs/wakeup-site/django-site: EACCESsupervisor: child process was not spawned因为安装是supervisor只能支持Python2.x ,所以用virtualenv安装后,使用其中的python(2.x)安装...
2019-03-26 15:47:20 5388
原创 linux vim总结
一、把空格替换为换行:%s/ /\r/g :\r :是换行的转义二、根据逗号进行换行:%s/,/\r/g :\r:是换行的转义二、把空行删除^$ : ^:开始 $:结束 ,开始结束都是空的:g/^$/d 三 排序1.指定分隔符,以第几个内容排序(以 ":" 分割后,以第二个内容排序)cat /etc/passwd | sort -t...
2019-03-26 15:44:34 2591
原创 Ubuntu 安装git 总结
1. ubuntu 16.04 安装 git报错 :依赖: liberror-perl 但无法安装它解决:更新,升级apt-get sudo apt-get updatesudo apt-get upgrade2.初始化本地仓库1.初始化 本地仓库git init2.初始化全局变量git config --global user.email maya...
2019-03-26 15:43:23 1303
原创 python 代码开发规范
1.字符缩紧,每级四个空格(一个Tab):空格和制表符避免混用(python3 不允许)可以用pycharm reformat code去格式化,变成一个格式2.if 语句,多个条件(条件块),无明确对if内的编码规范,只对条件块1.多个条件缩进换行简化写法可以不需要:no_str_date_cols = [i[0] for i in df.dtypes if i[1] != 'st...
2019-03-26 15:41:20 1176
原创 Pyspark提交任务
1.压缩工程文件sudo zip -r Project.zip.gz ./*zip -r Project.zip ./*2.配置PYTHONPATH,指向该目录3.工程下创建配置文件conf.py文件PROJECT_SOURCE=r'/usr/Project.zip'2.代码引用外部模块(此代码可以嵌套在js, java,scala)#从conf引用模块路径fro...
2019-03-26 15:40:20 3082
原创 基于ambari安装Kerberos client
1.安装kerberos依赖包(可以不安装,此为Ubuntu 依赖)yum install krb5-user libpam-krb5 libpam-ccreds auth-client-configyum install krb5-workstation2.拷贝kerberos 集群的 /etc/krb5.conf 到本地3.创建 本地client 访问Kerberos集群...
2019-03-26 15:13:28 518
原创 基于 ambari 安装 Kerberos 问题总结
更多问题解决来源https://steveloughran.gitbooks.io/kerberos_and_hadoop/content/sections/errors.html(包含大部分Kerberos问题,票据,server)https://www.bbsmax.com/A/rV574Yk9dP/1.问题:2019-03-22 20:53:01 WARN ScriptBa...
2019-03-26 15:12:03 2490
原创 spark + hadoop 访问 基于Kerberos 安全认证、授权的hdfs集群
1.在本地安装kerberos client 组件yum install krb5-user libpam-krb5 libpam-ccreds auth-client-configyum install krb5-workstation2.拷贝kerberos 集群的 /etc/krb5.conf 到本地 的 /etc/ (覆盖组件初始化的krb5.conf)3.拷贝...
2019-03-16 12:34:13 6798 1
原创 基于ambari+hdfs 搭建Kerberos集群
1.下载jce并解压至JAVA_HOME/jre/lib/security目录下,AMbari所有节点均需要http://www.oracle.com/technetwork/java/javase/downloads/jce8-download-2133166.htmlunzip -o -j -q jce_policy-8.zip -d$JAVA_HOME/jre/lib/secur...
2019-03-16 12:14:11 1556
Flume 根据字段进行路由插入 ES
2019-04-26
验证码工程源码
2016-11-02
JDBC连接Oralce数据库驱动
2014-03-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人