qq_36912167的博客

原创 windows修改pip源

windows cmd界面输入以下命令即可python -m pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple some-packagepip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

原创 talend postgresql bit to bit 转换

查看了很久的官方文档，发现postgresql是没有输出到数据库的bit数据源的，但是mysql有，可以通过布尔转入，所以可以通过以下思路实现postgresql的bit存到数据库数据源处 即inputDB

原创 hive初始化metastore失败 org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver

搜索了下产生这个错误主要是因为以下几个原因：1.$HIVE_HOME的lib文件夹未加入mysql驱动（注意驱动是.jar结尾）2.Hive的版本过高，降低版本即可3.需要hive元数据库初始化，执行 schematool -dbType mysql -initSchema4.HIVE_HOME/lib 下的derby-10.11.1.1.jar问题，，把derby-10.11.1.1.jar 换成derby-10.10.2.0.jar问题成功解决5.hive-site.xml配置文件错误..

原创 oracle创建类似于mysql的数据库

create tablespace test datafile 'D:\oracle\test\test.dbf' size 200m autoextend on next 100m maxsize unlimited; create user test identified by test default tablespace test; grant connect,resource to test; grant dba to test;执行完以上命令即可创建类似于mysql中的da..

原创 mysql Your password does not satisfy the current policy requirements

Your password does not satisfy the current policy requirements意思就是密码不符合规则 比如密码太简单解决方法：将密码设置为复杂密码 或者修改密码规则

原创 kafka巨坑 启动失败

今天启动kafka遇到了一个巨坑，执行启动命令居然不报错(启动命令是错的配置文件多了一个字符串)如下可以明显发现图一多了一个字母t，图二是对的，但kafka对于图一没有报错。

原创 maven打包项目

mvn clean package -Dmaven.test.skip=true

原创 jar包Java项目指定端口启动服务

java -jar xxx.jar --server.port=8088xxx.jar为jar包 8088为指定的端口号

原创 spark编译spark-core错误 Cannot run program “bash“: CreateProcess error=2, 系统找不到指定的文件

在spark源码目录下使用gitbash执行命令./build/mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.5 -DskipTests clean package即可此处可以修改hadoop的版本 如本处为2.6.5

原创 hadoop集群搭建成功后ui界面datanode不显示解决方案之一

#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 polo#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.76.136 polo192.168.76.131 node02192.168.76.138 node03192.168.76.137 node04将所.

原创 hadoop集群搭建注意要点

1.是否做ssh免密登陆2.每台主机的配置是否一样3.配置文件是否正确 最最核心 ，很多情况下就是因为配置文件不正确导致的问题。（注释：本文的jdk是通过rpm方式安装的 故使用/usr/java/default作为目录）4./etc/profile文件是否配置$ JAVA_HOME,$ HADOOP_HOME还有他们的PATH5.核心配置文件core-site.xml<configuration> <property> <name>f

原创 centos7集群ssh免密登陆

假设有四台主机分别名为node01、node02、node03、node041.配置/etc/hosts,在最下面加入（四台主机都配置）192.168.76.133 node01192.168.76.131 node02192.168.76.134 node03192.168.76.135 node042.执行命令ssh-keygen -t rsa生成秘钥，然后赋值给authorized_keys（四台都执行）ssh-keygen -t rsa cat id_rsa.pub >&g

原创 SPARK读取HDFS文件

sc.textFile("hdfs://polo:9000/sparktest/data.txt");//polo是你的主机名

原创 centos7修改当前主机名称

hostnamectl set-hostname polo # 使用这个命令会立即生效且重启也生效hostname # 查看下vi /etc/hosts # 编辑下hosts文件， 给127.0.0.1添加hostname如polo再次重新连接服务器时会发现服务器名称已变

原创 ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using password: YES)的解决

场景：安装mysql5.7后使用xshell等远程访问工具登陆了root账户然后通过xshell等远程工具使用mysql密码（非临时密码）登陆mysql5.7，提示ERROR 1045 (28000): Access denied for user ‘root’@‘localhost’ (using password: YES)。解决方案：此问题是因为远程工具没有对mysql的本地账户的访问权限，所以需要用户登陆服务器，按如下操作：#使用服务器而不是xshell等远程工具登陆mysql5.7（其他版本

原创 centos7安装配置sqoop1.4.6

1.下载sqoop1.4.6安装包wget http://archive.apache.org/dist/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz2.解压安装包tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/bigdata3.修改解压得到的文件夹名称以方便后续操作cd /opt/bigdatamv sqoop-1.4.6.bin__hadoop-2.0

原创 centos7安装配置Tengine并配置系统服务加入开机启动项

1.下载tenginx安装包本例为tengine-2.1.0.tar.gz，地址为http://tengine.taobao.org/2.使用rz命令上传tenginx到centos73.解压tenginx 可以使用 tar -zxvf tengine-2.1.0.tar.gz(有过程) 也可以用 tar xf tengine-2.1.0.tar.gz(无过程)4.移动文件夹到你想要移动到的位置 mv tenginx-2.1.0 /opt/5.用yum源安装依赖gcc openssl-devel p

原创 centos7安装hbase2.0.5伪分布式模式（单节点）

1.安装jdk（默认已安装好）2.下载hbase2.0.5(地址：http://archive.apache.org/dist/hbase/2.0.5/)，此处下载的是hbase-2.0.5-bin.tar.gz，此处使用wget http://archive.apache.org/dist/hbase/2.0.5/hbase-2.0.5-bin.tar.gz下载3.解压hbase-2.0.5-bin.tar.gz 到/opt/bigdata目录tar -zxvf hbase-2.0.5-bin.ta

原创 hdfs伪分布式集成yarn

1.打开要修改文件的目录cd $HADOOP_HOME/etc/hadoop2.复制mapred-site.xml.template为mapred-site.xmlcp mapred-site.xml.template mapred-site.xml3.修改mapred-site.xml在中添加 <property> <name>mapreduce.framework.name</name>

原创 centos7安装hadoop2.6.5伪分布式模式（一台机器）

1.下载jdk 可从官网下载最好是rpm版本，如我下载的版本为jdk-8u271-linux-x64.rpm（此处省略）2.下载hadoop2.6.5 可在https://archive.apache.org/dist/hadoop/common/找到2.6.5版本下载hadoop-2.6.5.tar.gz3.使用xshell连接至centos（此处略）4.使用yum -y install lrzsz命令安装上传下载文件功能。yum -y install lrzsz5.用rz命令上传jdk-8u2

原创 ssh无法免密登陆 cannot remove ‘.ssh/authorized_keys’: Operation not permitted解决方法

1.在.ssh文件夹下执行命令chattr -i authorized_keys2.rm -rf authorized_keys

原创 centos7虚拟机联网全过程

环境为刚配置的centos7 此时甚至不能联网1.让centos实现联网功能**a.将虚拟机网络设置为vmnet-8b.勾选允许其他用户通过此计算机的计算机来连接****![在这里插入图片描述](https://img-blog.csdnimg.cn/20210113172902719.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3

原创 centos linux 远程拷贝

scp -r /soft [email protected]:/(/soft是要拷贝的目录，:直接和服务器挨着， :后的/是要拷贝的目录什么都不写就是根目录)然后输入密码即可成功--源服务器[root@iZwz98z2q1jg4gnmgc88mqZ zookeeper]# scp -r /usr/local/soft/tmp/zookeeper [email protected]:/usr/...

原创 centos7安装zookeeper

1.上传zookeeper文件2.查看文件[root@VM_0_3_centos soft]# ll3.解压文件[root@VM_0_3_centos soft]# tar -zxvf zookeeperxxxxxx4.重命名为zookeepr[root@VM_0_3_centos soft]# mv zookeeper-3.4.12 zookeeper5.打开到zookee...

原创 centos7安装jdk

1.上传linux版jdk文件 如 jdk-8u251-linux-x64.tar.gz可在官网或者微云java文件夹获得2.在/usr/local文件夹下创建java文件夹 mkdir java3.将jdk文件移到此处 mv jdk-8u251-linux-x64.tar.gz /usr/java4.解压jdk文件tar -zxvf jdk-8u251-linux-x64.tar.gz...

原创 vi编辑器常用命令

保存命令按ESC键 跳到命令模式，然后：:w 保存文件但不退出zhidaovi:w file 将修改另外保存到file中，专不退出vi:w! 强制保存，不推出vi:wq 保存文件并退出vi:wq! 强制保存文件，并退出viq: 不保存文件，退出vi:q! 不保存文件，强制退出vi:e! 放弃属所有修改，从上次保存文件开始再编辑...

原创 centos7安装zookeeper后无法启动

1、查看端口占用 sudo netstat -anp | grep 21812、端口没问题 执行sudo -i然后重新启动

原创 centos7安装rabbitmq

##操作系统版本为CentOS7，纯净未安装RabbitMQ#以root用户安装su - root##安装wget https://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch.rpmrpm -Uvh erlang-solutions-1.0-1.noarch.rpmyum install epel-releas...

原创 mogodb的mgdb.conf配置文件不同版本下的配置

版本2.4+dbpath=/usr/local/mongodb/data/db #数据文件存放目录logpath=/usr/local/mongodb/log/mongodb.log #日志文件存放目录port=27017 #端口，默认 27017，可以自定义logappend=true #开启日志追加添加日志fork=true #以守护程序的方式启用，即在后台运行bind_ip=0....

原创 js 获取服务器时间出错获取1970问题

其实出现1970-01这个问题最终是浏览器的兼容问题，由于IE浏览器的缓存机制，导致请求头没有请求到，所以返回计算机的默认时间1970-01有bug的代码：var stuVdate = new Date(.ajax(async:false).getResponseHeader("Date"));//取得当前时间functiondateTimeFormat(date)vard=newDate(d...

原创 centos redis停止

停止（127.0.0.1是你的ip地址）1.有密码：redis-cli -a 密码 -h 127.0.0.1 -p 6379 shutdown2.无密码：redis-cli -h 127.0.0.1 -p 6379 shutdown

原创 mysql各种神坑

1.service mysqld start [ERROR] [MY-011011] [Server] Failed to find valid data解決方法:a.查看/etc/my.cnf的datadir路径vi /etc/my.cnfb.更正datadir路径根据 Failed to find valid data directory. 修改路径b1 找出mysql文件夹#w...

原创 踩坑ubuntu安装jdk

原创 模糊查询多个字段匹配的值

1.使用正则表达式：SELECT id,name from table where name regexp “隆达|徽达”;2.使用通配符%SELECT id,name from table where name like ‘%a%’ or name like ‘%b%’;

原创 centos上传下载文件

Method1：利用rz和sz命令进行上传下载文件 前提是安装了lrzsz工具，并且是远程登录到centos中1.安装lrzsz ---- yum -y install lrzsz(若已安装 跳过这一步)2.上传下载文件（利用rz和sz命令分别进行上传下载功能，会弹出窗口）...

原创 CENTOS命令大全

centos没有专门的重命名 命令用 mv a b 就可以重命名文件了移动文件：mv 文件名 移动目的地文件名重命名文件：mv 文件名 修改后的文件名

原创 MyEclipse项目导入Eclipse项目注意事项

在Eclipse中Webapp是存放在WebContent里面，我们只需把WebRoot里面的文件全部拷贝一份到WebContent下面,这样我们就可以在Eclipse中运行导入的MyEllipse项目了

原创 tomcat通过阿里云ssl证书配置https

1.登录阿里云，找到申请得到的阿里云https证书，并点击下载。2.点击下载后会让我们选择服务器类型，此处选择Tomcat。3.在本地Tomcat的安装目录下创建cert目录，并且将下载的全部文件拷贝到cert目录中。4.找到tomcat安装目录下的conf文件夹，点击进去，找到server.xml。5.打开server.xml,找到被注释掉的8443端口。6.将注释去掉，里面...

原创 js获取网络时间

//时间格式如Thu, 19 Dec 2019 18:03:47 GMTvar date = dateTimeFormate($.ajax({async:false}).getResponseHeader("Date"));//格式化从服务器端取到的时间function dateTimeFormate(date) { var d = new Date(date); var year = ...

原创 java通过UUID获得随机字符串

UUID uuid=UUID.randomUUID();String random = uuid.toString().replace("-", "");System.out.println(random);