系统
码上中年
目前从事于开发大数据平台开发,主要是开发特征工程工具、机器学习算法。然后将平台开发好供公安系统进行各种数据挖掘,分类,预测。
展开
-
Linux安装python3
python3安装原创 2022-12-23 10:50:00 · 760 阅读 · 0 评论 -
Linux实现主从时间同步服务
各节点安装ntp服务 yum install ntp # 如果是离线 可以自己下载ntp服务安装包安装修改ntp服务配置文件 vi /etc/ntp.conf3. 关闭各个从节点的ntpd服务 systemctl stop ntpd systemctl disable ntpd各个从节点同步主节点时间 ntpdate cdh-master设置每日凌晨0点同步时间 crontab -e 0 0 * * * usr/sbin/ntpd cdh-master..原创 2021-06-13 13:44:17 · 302 阅读 · 0 评论 -
Linux永久关闭防火墙以及关闭selinux
永久关闭防火墙 systemctl stop firewalld systemctl disable firewalld iptables -F永久关闭selinux vi /etc/sysconfig/selinux SELINUX=disabled # 查看是否关闭 sestatus原创 2021-06-13 13:07:38 · 374 阅读 · 0 评论 -
mac安装虚拟机配置网络主机名
配置网络永久修改主机名hostnamectl set-hostname cdh-worker2原创 2021-06-13 10:49:32 · 215 阅读 · 0 评论 -
Canal之HA高可用
1. canal高可用1.1 canal的HA分为两个部分:clientHA和serverHA1.2 canal的HA需要借助于zookeeper来实现高可用1.3 serverHA:针对每一个实例instance要做到同一时间只能有一个处于running状态,其他处于standby状态1.4 clientHA:同一时间只能有一个client进行接收instance的数据,否则无法保证有序2. canal serverHA实现2.1 修改canal server的配置文件canal/conf/原创 2021-03-17 23:07:52 · 430 阅读 · 1 评论 -
shell一键免密互信
#!/bin/bashinstallpath=$(cd `dirname $0`; pwd)echo "安装路径: ${installpath}"#myip=`ip addr | grep 'state UP' -A2 | tail -n1 | awk '{print $2}' | cut -f1 -d '/'`#echo "当前主机IP: ${myip}"filepath=${installpath}/filesecho "由于当前环境还未做免密 所以需要安装远程带密码的工具 sshpass"原创 2021-03-10 18:03:00 · 288 阅读 · 0 评论 -
shell一键安装hive
#!/bin/bash# 脚本启动方式 bash hive_install.sh 172.16.149.150 3306 root 123456ipath=/opt/bigdataecho "安装hive集群"installpath=$(cd `dirname $0`; pwd)echo ${installpath}filepath=${installpath}/filesecho "解压hive压缩包"tar -xvf ${filepath}/hive.tar.gz > /dev/n原创 2021-03-10 18:00:56 · 250 阅读 · 0 评论 -
shell一键安装Kafka(3节点)
shell一键部署jdk_三台shell一键部署Scala_三台1. 准备好三台已经安装好jdk和scala的机器172.16.149.150 cdh-master172.16.149.151 cdh-worker1172.16.149.152 cdh-worker22. 编写代码#!/bin/bashipath=/opt/bigdataecho "安装kafka集群"installpath=$(cd `dirname $0`; pwd)echo ${installpath}fil原创 2021-03-10 17:59:14 · 231 阅读 · 0 评论 -
shell一键安装zookeeper(3节点)
shell一键部署jdk_三台1. 准备好三台已经安装好jdk的机器172.16.149.150 cdh-master172.16.149.151 cdh-worker1172.16.149.152 cdh-worker22. 编写脚本#!/bin/bashipath=/opt/bigdataecho "安装zookeeper集群"installpath=$(cd `dirname $0`; pwd)echo ${installpath}filepath=${installpath}原创 2021-03-10 17:57:38 · 175 阅读 · 0 评论 -
shell一键安装spark(3节点)
shell一键部署jdk_三台shell一键部署Scala_三台1. 准备好三台已经安装好jdk和scala的机器172.16.149.150 cdh-master172.16.149.151 cdh-worker1172.16.149.152 cdh-worker22. 编写脚本#!/bin/bashipath=/opt/bigdataecho "安装spark集群"installpath=$(cd `dirname $0`; pwd)echo ${installpath}fil原创 2021-03-10 17:45:03 · 226 阅读 · 0 评论 -
shell一键安装hadoop(3节点)
shell一键部署jdk_三台1. 准备好三台已经安装好jdk的机器172.16.149.150 cdh-master172.16.149.151 cdh-worker1172.16.149.152 cdh-worker22. 编写脚本#!/bin/bashipath=/opt/bigdataecho "安装hadoop集群"installpath=$(cd `dirname $0`; pwd)filepath=${installpath}/filesecho "解压hadoop压缩原创 2021-03-10 17:41:54 · 180 阅读 · 0 评论 -
shell一键部署mysql
1. 创建专门用以执行安装脚本的目录,并在此目录创建压缩文件所需要的目录mkdir -p /opt/shell/filescd /opt/shellvi mysql_install.sh2. 编辑shell脚本#!/bin/bash#离线安装mysql#我们需要安装mysql的目录ipath="/usr/local"#获取当前脚本目录的路径 $0-shell本身的文件名installpath=$(cd `dirname $0`; pwd)echo ${installpath}#提前原创 2021-03-05 16:48:00 · 292 阅读 · 2 评论 -
shell一键安装Scala(三台)
#!/bin/bash#离线安装scala#我们需要安装scala的目录ipath="/usr/local"#获取当前脚本目录的路径 $0-shell本身的文件名installpath=$(cd `dirname $0`; pwd)echo ${installpath}#提前在脚本目录创建files文件夹 上传安装包到该目录filepath=${installpath}/filesj=`whereis scala`#查看是否已经安装scalascala=$(echo ${j} | gr原创 2021-03-02 11:46:58 · 178 阅读 · 0 评论 -
shell脚本一键安装jdk(三台)
#!/bin/bash#离线安装jdk#我们需要安装jdk的目录ipath="/usr/local"#获取当前脚本目录的路径installpath=$(cd `dirname $0`; pwd)echo ${installpath}#提前在脚本目录创建files文件夹 上传安装包到该目录filepath=${installpath}/filesj=`whereis java`#查看是否已经安装jdkjava=$(echo ${j} | grep "jdk")echo ${java}原创 2021-03-02 11:23:41 · 617 阅读 · 0 评论 -
Redis安装(完整版)
1. 检测系统是否已安装g++、gccrpm -qa | grep gcc-c++2. 安装g++、gcc2.1. 下载安装rpm包链接: https://pan.baidu.com/s/1-Muqk_KBzzsEs9MooBeHfw 密码: ercb2.2 上传到/opt/gcc目录下安装rpm -Uvh *.rpm --nodeps --force2.3 测试是否安装成功gcc -vg++ -v3. 安装redis3.1 下载解压tar xzvf redis-原创 2021-02-24 17:59:29 · 176 阅读 · 0 评论 -
Linux系统为防火墙开启端口
添加端口开启firewall-cmd --zone=public --add-port=9999/tcp --permanent查询端口是否开启firewall-cmd --query-port=9999/tcp重启防火墙firewall-cmd --reload查询所有开启的端口:firewall-cmd --list-port原创 2020-09-04 15:56:09 · 169 阅读 · 0 评论 -
Mac系统安装brew: Failed to connect to raw.githubusercontent.com port 443: Connection refused
修改hostssudo vi /etc/hosts添加如下内容:199.232.28.133 raw.githubusercontent.com原创 2020-09-02 17:18:49 · 124 阅读 · 0 评论 -
时间同步
安装ntp服务 yum -y install ntp设置开机启动 service ntpd start chkconfig ntpd on配置时间服务器3.1 主节点: sudo vi /etc/ntp.conf driftfile /var/lib/ntp/drift restrict default kod nomodify notrap nopeer noquery restrict -6 default kod nomodify notrap nopeer noqu..原创 2020-07-21 11:40:46 · 164 阅读 · 0 评论 -
Redis安装与使用
官网下载stable版本的 本文使用 redis-5.0.8.tar.gz安装redis 解压:tar zxvf redis-5.0.8.tar.gz 移动到: mv redis-5.0.8 /usr/local/ 切换到:cd /usr/local/redis-5.0.8/ 编译测试 sudo make test 编译安装 sudo make install...原创 2020-04-22 20:55:23 · 99 阅读 · 0 评论 -
Mac永久解决pip install慢的问题
临时解决pip install*** -i https://pypi.douban.com/simple永久解决cd /ls -a# 查看是否有.pip文件夹 没有就创建mkdir .pipcd .pipvi pip.conf# 添加如下代码[global]index-url=http://mirrors.aliyun.com/pypi/simple/[insta...原创 2020-04-21 15:56:12 · 1353 阅读 · 0 评论