- 博客(40)
- 资源 (2)
- 收藏
- 关注
原创 【服务器】联想SystemX3250M6磁盘状态异常修复
服务器上挂载着两块硬盘,由于操作不当,导致磁盘状态异常,无法使用,现进行磁盘状态恢复开机按F1进入BIOS系统,进入system settings进入storage回车进入进入main menu,进入drive management先对第一个,按回车,选择Operation选项中的make unconfigured good随后一路选择“确定”,相同的步骤对另一个盘进行修改。...
2019-09-08 18:18:03
4285
1
原创 【服务器】联想X3250M6做raid1磁盘阵列
进入create virtual drive选raid1Check All,Applay Changes,Save Configuration进virtual drive management至此,raid1阵列做完
2019-09-08 18:17:57
5043
原创 spark-submit提交Python工程到Yarn报错:java.lang.ClassNotFoundException: com.mongodb.client.model.Collation
查看对应Yarn任务日志报错如图。将bson-3.8.1.jar,mongo-java-driver-3.11.0.jar,mongo-spark-connector_2.11-2.3.2.jar,mongodb-driver-core-3.8.1.jar这几个jar包放到每个节点的hadoop目录下的lib中,问题解决...
2019-08-28 19:06:34
1268
原创 【MongoDB】Ubuntu18.04单机安装配置
为了方便,以下命令都是在root用户下执行的安装Mongodb更新软件包列表以获取最新版本的存储库列表:apt update安装MongoDB包:apt install -y mongodb检查是否安装成功systemctl status mongodb状态为active则安装成功启用远程连接修改mongodb.conf文件vi /etc/mongodb.conf将...
2019-08-10 12:58:24
334
原创 基于scrapy-redis的分布式爬虫配置
基于scrapy的爬虫只能是单机式爬虫,而借助scrapy-redis可实现分布式爬虫首先要安装scrapy-redispip install scrapy-redis在此之前,应该已经装好了scrapy和redis新建一个scrapy项目和爬虫文件修改setting文件# 使用scrapy_redis的去重组件,在redis数据库里做去重DUPEFILTER_CLASS = "s...
2019-07-18 17:23:08
124
原创 【Scrapy】ModuleNotFoundError: No module named 'scrapy.contrib'
运行环境:pyhton-3.6scrapy-1.6.0爬虫启动报错:Traceback (most recent call last): File "/usr/local/bin/scrapy", line 10, in <module> sys.exit(execute()) File "/usr/local/lib/python3.6/dist-packag...
2019-07-13 18:22:23
4239
原创 【scrapy】Ubuntu安装scrapy报错:fatal error: Python.h: No such file or directory
src/twisted/test/raiser.c:4:10: fatal error: Python.h: No such file or directory #include "Python.h" ^~~~~~~~~~compilation terminated.error: command 'x86_64-linux-gnu-gcc' failed with exi...
2019-07-13 14:12:45
305
原创 【Redis】ubutnu18.04单机安装配置
ubutnu18.04安装Redis安装redis服务端# apt-get install redis-server检查Redis服务器系统进程# ps -agx|grep redis13614 ? Ssl 0:00 /usr/bin/redis-server 127.0.0.1:637913746 pts/6 S+ 0:00 grep --colo...
2019-07-13 13:26:43
171
原创 【Ajax】定时修改前台标签对应值
应用场景:准实时获取数据库中数据条数并在前台显示 <div>当前数据量</div> <p id=size>请稍等</p> <script type="text/javascript"> var dataSize; function sizeOfData(){ $.ajax({ ...
2019-07-12 19:06:54
345
原创 【Java】String和各种格式互转
其他类型转StringString s = String.valueOf( value); // 其中 value 为任意一种数字类型String转其他类型str = "123";byte b = Byte.parseByte( str ); short t = Short.parseShort( str ); int i = Integer.parseInt( str )...
2019-07-11 21:36:37
274
原创 【Socket】学习笔记(一)
socket编程思路服务器端套路1.创建ServerSocket对象,绑定监听端口。2.通过accept()方法监听客户端请求。3.连接建立后,通过输入流读取客户端发送的请求信息。4.通过输出流向客户端发送响应信息。5.关闭响应的资源。客户端套路1.创建Socket对象,指明需要连接的服务器的地址和端口号。2.连接建立后,通过输出流向服务器发送请求信息。3.通过输入流获取服务器...
2019-07-10 17:43:18
154
原创 【HBase】开启权限验证
默认情况下,访问hbase是不需要用户密码等认证方式的。通过在hbase-site.xml中设置以下属性来安装和配置AccessController协处理器<property> <name>hbase.superuser</name> <value>hbase</value></property>...
2019-07-05 20:28:23
3131
原创 【Tomcat】入坑之Several ports (8005, 8080, 8009) are already in use.
上次关闭项目tomcat没完全停止,导致下次启动时端口被占用STS启动tomcat报错如下管理员身份开启Dos窗口将占用端口的进程杀死即可再次启动项目
2019-06-28 11:56:52
583
原创 pom.xml报错:Missing artifact jdk.tools:jdk.tools:jar:1.8
在用Maven创建工程时报错如下:tools.jar包是JDK自带的,pom.xml中以来的包隐式依赖tools.jar包,而tools.jar并未在库中,只需要将tools.jar包添加到jdk库中即可。<dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tool...
2019-06-27 18:42:03
424
原创 【Hadoop】Cannot assign requested address
今天在两台服务器上搭hadoop,一个阿里(Ubuntu)一个腾讯(CentOS)配置完后启动start-all.sh集群报错FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.java.net.BindException: Problem binding to [master:900...
2019-06-22 19:03:32
501
原创 Tomcat8.5阿里免费DV证书配置https
申请并下载tomcat的证书在tomcat下新建一个cert目录,把证书丢进去root@iZuf6gctxhllwhytukvaheZ:/opt/modules/tomcat-8.5/cert# ls2146938_www.geekboluo.com.pfx大约在69行,将默认端口改为80(浏览器默认端口),redirectPort改为443,可以自定义<Connector p...
2019-06-17 22:34:29
382
原创 Flume与Kafka集成之准实时增量采集MySQL数据到Kafka
Flume准实时增量采集MySQL的数据到Kafka,source为MySQL,channel为memory,sink为Kafka。关于Flume采集MySQL可以查看:Flume实战之准实时采集mysql数据到HBase和Hive的集成表,这里只需要在上一篇的基础上修改以下sink为Kafka,并做一些相关修改就可以了MySQL中student表数据采集表数据时的元数据信息,表flume_...
2019-06-17 12:27:48
1734
3
原创 【kafka】彻底删除topic
如果当前topic没有使用过即没有传输过信息:可以彻底删除如果当前topic有使用过即有过传输过信息:并没有真正删除topic只是把这个topic标记为删除(marked for deletion)。删除logs,server.properties -> log.dirs=/var/kafka/log/tmprm -rf /var/kafka/log/tmp/test*删除k...
2019-06-17 09:28:26
690
原创 【kafka】常用命令
启动kafkabin/kafka-server-start.sh -daemon config/server.properties 创建topicbin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic test 查看topic列表bin/k...
2019-06-16 22:12:49
144
原创 【Flume】准实时增量采集MySQL数据到HBase和Hive的集成表
仅仅为了学习记录,有错误请指出先在mysql中创建student表,并插入两条数据mysql> show databases;+--------------------+| Database |+--------------------+| information_schema || flume || hive ...
2019-06-16 18:33:37
760
原创 【kafka】多broker集群容错测试
启动zookeeper之后,在三台机器上启动kafkaroot@master:/opt/modules/kafka_2.11# bin/kafka-server-start.sh -daemon config/server.properties 创建三个副本,一个分区的topic,名称为test2root@master:/opt/modules/kafka_2.11# bin/kafka...
2019-06-15 23:04:16
374
原创 【kafka】Quickstart
启动kafka之前,先启动zookeeper先来看一下zookeeper的状态root@master:/opt/modules/kafka_2.11# /opt/server/zk.sh statusmasterZooKeeper JMX enabled by defaultUsing config: /opt/modules/zookeeper-3.4.14/bin/../conf/z...
2019-06-15 22:30:52
187
原创 【Phoenix】安装
Phoenix is an open source SQL skin for HBase. You use the standardJDBC APIs instead of the regular HBase client APIs to create tables,insert data, and query your HBase data.下载解压安装下载对应版本的phoenix...
2019-06-14 09:54:17
323
原创 【Hive】beeline连接报错 root is not allowed to impersonate root (state=08S01,code=0)
beeline> !connect jdbc:hive2://localhost:10000/testConnecting to jdbc:hive2://localhost:10000/testEnter username for jdbc:hive2://localhost:10000/test: Enter password for jdbc:hive2://localhost:...
2019-06-12 22:09:11
1084
1
原创 【Ubuntu】中文乱码
vim /etc/vim/vimrc加入如下配置set fileencodings=utf-8,gb2312,gbk,gb18030set termencoding=utf-8set encoding=prc
2019-06-12 21:58:25
682
2
原创 【Hive】hiveserver2 启动时卡住
hiveserver2启动时卡住root@slave01:/opt/modules/hive-2.3.5/bin# hive --service hiveserver2 2019-06-12 21:19:09: Starting HiveServer2SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found bindin...
2019-06-12 21:35:47
11130
原创 【Kafka】集群部署
Zookeeper集群安装及Zookeeper启动脚本Kafka安装配置下载Kafka解压tar -zxvf kafka_2.11-2.2.0.tgz -C /opt/modules重命名 mv kafka_2.11-2.2.0 kafka_2.11在kafka目录下创建logs文件夹root@master:/opt/modules# cd kafka_2.11/root...
2019-06-12 19:24:31
163
原创 【Spark】on Yarn 模式安装配置
在安装spark前先安装scala下载Scala上传到/opt/modules/softwares目录并解压到/opt/modules目录下root@master:/opt/softwares# lltotal 745404drwxr-xr-x 2 root root 4096 6月 12 17:08 ./drwxr-xr-x 7 root root 4096 6...
2019-06-12 18:26:57
8605
原创 【Hive】Establishing SSL connection without server’s identity verification is not recommended.
Hive shell操作出现警告:Thu Jun 06 21:08:22 CST 2019 WARN: Establishing SSL connection withoutserver’s identity verification is not recommended. According to MySQL5.5.45+, 5.6.26+ and 5.7.6+ requirements...
2019-06-06 21:17:06
890
1
原创 【STS】 安装 hadoop-2.8.5插件
1.点击获取hadoop-eclipse-plugin-2.8.5.jar2.放到sts的plugins目录下3.打开sts配置hadoop安装路径4.连接hadoopcore-site.xml
2019-06-04 12:35:35
516
原创 【Storm】集群搭建(Ubuntu16.04)
安装Storm之前,需要先安装zookeeper1.下载StormStorm-1.2.2清华镜像站下载上传到/opt/softwares目录下解压到/opt/modules目录下tar -zxvPf apache-storm-1.2.2.tar.gz -C /opt/modules/重命名2.配置storm修改conf目录中的storm.yaml文件:#########...
2019-05-27 23:30:35
639
1
原创 【Maven】Win10安装配置Maven
1.下载安装MavenMaven-3清华开源镜像站下载我这里下载的是Maven-3.5.4下载完之后解压到S:\hadoop目录下2.配置Maven环境变量新建M2_HOME,值为Maven的安装目录Path后面添加 %MAVEN_HOME%\bin3.验证4.配置Mavenmaven本地仓库默认是在C:\Users\用户名.m2 下,最好改到自定义的地方去,打开mav...
2019-05-24 02:52:31
763
1
原创 【Eclipse】Java代码关联hadoop源码
按Ctrl+鼠标左键放到想要查看的类上并点击提示 source not found下载hadoop对应版本的源码包关联
2019-05-19 17:06:58
175
原创 【Eclipse】安装zookeeper插件
help – install new software重启ecplisewindow – show view – other连接
2019-05-19 15:01:44
194
原创 【Ubuntu16】kvm虚拟机根分区扩容(qcow2)
磁盘容量原来是100G,要修改为500G进入磁盘文件目录,执行如下命令查看磁盘容量qemu-img info slave05.qcow2扩展磁盘容量qemu-img resize slave05.qcow2 +400G重启虚拟机,虚拟机管理器查看修改生效...
2019-05-14 18:07:51
1421
原创 阿里云ECS免费证书配置https
准备1、已备案域名 1个。2、阿里云ECS(CentOS7.2) 1台(Apache2.4+PHP7+mysql5.6)3、阿里免费DV SSL证书 1个。ECS环境配置跳转:https://blog.csdn.net/finejade1027/article/details/89393159一、上传证书到/etc/httpd/cert二、安装或升级mod_ssl和openssl...
2019-05-09 21:16:06
1311
原创 【CentOS7】配置Apache加载解析PHP
修改httpd.conf载入PHP模块,如httpd.conf中有下列代码则直接去掉前面#即可,没有则加入LoadModule php7_module modules/libphp7.so在底部加入以下代码使得Apache可以解析php文件<IfModule mod_php7.c> AddType application/x-httpd-php .php </I...
2019-05-08 11:17:37
5628
3
原创 阿里云ECS安装配置Apache+PHP+MySQL环境(CentOS 7)
apache安装配置1.安装yum install httpd2.启动apachesystemctl start httpd3.查看apache服务器状态systemctl status httpd4.apache配置vim /etc/httpd/conf/httpd.conf5.开启防火墙80端口查看端口firewall-cmd --list-ports ...
2019-04-19 09:24:48
2874
原创 【Hadoop】伪分布式集群搭建(CentOS7)
hadoop伪分布式集群搭建#1. 在VMware中创建虚拟机#2. 修改主机名、关闭防火墙、设置固定IP#3. ssh上传jdk和hadoop安装包#4. 配置jdk环境变量、配置hadoop#5. 虚拟机克隆#6. 配置ip映射和节点免密登陆#7. 启动hadoop#8. hadoop集群功能测试:测试HDFS、测试MapReduce一、在vmware中创建虚拟机这里用的...
2018-12-31 18:23:26
2905
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人