- 博客(15)
- 收藏
- 关注
RSS订阅原创 openswan在centos7上配置
第一步:安装openswanyum install -y make gcc gmp-devel xmlto bison flex xmlto libpcap-devel lsof vim-enhanced manyum install nssyum install libreswan第二步:配置1. cat /etc/ipsec.confconfig setup protostack=netkey nat_traversal=yes o
2020-08-03 17:07:10
1794
原创 openswan在centos6上配置指南
第一步:安装openswanyum install -y make gcc gmp-devel xmlto bison flex xmlto libpcap-devel lsof vim-enhanced manyum install nssyum install openswan 第二步:配置编辑 /etc/ipsec.conf (此处具体根据要求进行修改)cat /etc/ipsec.confconfig setup protostack=netkey
2020-08-03 16:33:35
415
原创 hbase导入数据
hbase>create 'warehouse.md5_key2_hbase',{NAME=>'prop'} sudo -uhdfs hbase org.apache.hadoop.hbase.mapreduce.Driver importtsv -Dimporttsv.separator=, -Dimporttsv.bulk.output=/user/etl/md5_key2_hbase -Dimporttsv.columns=HBASE_ROW_KEY,prop:score wareho
2020-07-31 13:59:45
246
1
原创 CDH 6.2.0安装
CDH安装文档概述本文档主要内容为 cdh 生态环境各个应用搭建部署文档，CDH包括zookper、hadoop、saprk、hive、scala。软件环境集群软件环境确定如下：软件名称 版本OS Centos 7.3spark 2.4.0-cdh6.2.1python python 2.7.13java 1.8hadoop 3.0.0-cdh6.2.1mariadb 5.5.64hive hive-2.1.1-cdh6.2.1scala scal
2020-07-30 11:38:22
476
原创 zookeeper delete yarn rmstore
cdh6.2仍然无法解决zookeeper注册信息过期造成yarn的主备脑裂问题。摘录别人的文章：https://sukbeta.github.io/zookeeper-delete-yarn-rmstore/错误日志（日志可能会有不同，现象就是无法手动切换主备）2019-06-16 21:07:39,030 WARN org.apache.hadoop.yarn.server.resourcemanager.RMAuditLogger: USER=yarn OPERATION=transitionT
2020-05-21 21:22:28
1445
转载 SPARK动态添加节点
参考：https://blog.51cto.com/beyond3518/1787498最主要的：sbin/start-slave.sh spark://DEV-HADOOP-01:7077
2020-02-20 19:54:15
489
原创 Hadoop Namenode启动报错GC overhead limit exceeded
参考：https://blog.csdn.net/rongyongfeikai2/article/details/82878578文中所述，由于fsimage的inodes过多，造成启动时内存不够用所致。需要用以下命令查看fsimage文件占用的内存大小：./hdfs oiv -p XML -printToScreen -i ${fsimage文件路径} -o /tmp/acat /...
2020-02-15 14:09:33
600
原创 flask提交表单
1. 创建test_flask.py主程序test_flask.pyfrom flask import Flask, render_template, requestapp = Flask(__name__)@app.route('/')def student(): return render_template('student.html')@app.route('/re...
2020-01-10 11:31:26
370
转载 python安装numpy和pandas
最近要对一系列数据做同比比较，需要用到numpy和pandas来计算，不过使用python安装numpy和pandas因为linux环境没有外网遇到了很多问题就记下来了。首要条件，python版本必须是2.7以上。linux首先安装依赖包yum -y install blas blas-devel lapack-devel lapackyum -y install seaborn scipy...
2019-11-20 15:27:33
432
原创 Python3 * 和 ** 运算符
摘录自https://blog.csdn.net/yilovexing/article/details/80577510我感兴趣的是如下内容函数形参*args 和 **kwargs 主要用于函数定义。你可以将不定数量的参数传递给一个函数。不定的意思是：预先并不知道, 函数使用者会传递多少个参数给你, 所以在这个场景下使用这两个关键字。其实并不是必须写成 *args 和 **kwargs。 ...
2019-10-30 15:38:02
155
原创 MYSQL 5.7主从配置
MARIADB的主从配置好像略有些区别，但总体和mysql的配置一个意思。MYSQL5.7 加强了主从同步到性能。配置参照：https://www.jianshu.com/p/6bb7bde1cd91 https://www.cnblogs.com/eleven24/p/7350000.html性能调优：https://www.jianshu.com/p/6bb7bde1cd91同步注意...
2019-10-30 09:59:34
228
转载 HDFS中将普通用户增加到超级用户组supergroup以及其应用场景
参考了 https://blog.csdn.net/fenglibing/article/details/82261340Hadoop平台会集成不同的组件，如hdfs、yarn、hive等，不同用户的操作权限不同，除了hdfs是超级用户以外，其它用户都默认是普通用户权限，但是有些场景之下，我们希望普通具有具有hdfs的超级权限，如我oozie中调试shell任务，其中shell调用sqoop从数...
2019-07-19 11:24:09
3000
原创 SBT编译环境安装
最初是参考林子雨的文章，http://dblab.xmu.edu.cn/blog/1307-2/ ，但发现sbt-0.13的版本已经不被支持了。无奈参考这篇文章， https://www.cnblogs.com/hank-yan/p/8686281.html ，安装1.1.1版本。安装相对容易，spark针对hbase的操作，需要注意如下事项。1.每一个项目都会需要一个配置文件，即xxx....
2019-06-14 17:02:58
911
原创 Python的实用类和方法
Python的使用类和方法Python的实用类和方法SSH免密登录mysql操作类功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导...
2019-04-29 18:05:12
157
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人