![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Linux
文章平均质量分 59
WuGenQiang
这个作者很懒,什么都没留下…
展开
-
大数据实习笔记
#2018-07-19#1.同步集群时间2.数据导入flume使用 flume 收集 nginx 服务器的日志到 hdfs (1)配置代理[root@master1 ~]# vim /etc/flume/conf/flume.conf添加:# #配置Agenta1.sources = r1a1.sinks = k1a1.channels = c1# # 配...原创 2018-07-17 09:28:22 · 7534 阅读 · 0 评论 -
kafka连接flink流计算,实现flink消费kafka的数据
一、启动Kafka集群和flink集群环境变量配置(注:kafka 3台都需要设置,flink仅master设置就好)[root@master ~]# vim /etc/profile配置完执行命令:[root@master ~]# source /etc/profile2.创建执行文件,添加启动服务[root@master ~]# vim start_kafka....原创 2018-08-16 11:46:47 · 43301 阅读 · 6 评论 -
centos安装配置使用scala
1.下载文件scala2.12.6.tgz [root@master ~]# wget https://downloads.lightbend.com/scala/2.12.6/scala-2.12.6.tgz 2.解压文件到指定目录 [root@master ~]# tar -xzvf scala-2.12.6.tgz -C /opt/ 3. 编辑配置...原创 2018-08-23 15:23:05 · 794 阅读 · 1 评论 -
docker容器中安装openssl
1.(可忽略,根据需要)执行更新操作root@a97f033b8cc0:~# apt-get update2.查看原有系统是否已安装Opensslroot@a97f033b8cc0:~# openssl version -a3.执行下载openssl操作root@a97f033b8cc0:~# apt-get install openssl4.查看Openssl安...原创 2019-01-17 21:26:55 · 9534 阅读 · 0 评论 -
centos7环境下在docker中nginx部署HTTPS
nginx是一款高性能的Web服务器,可以用作反向代理和负载均衡。随着HTTPS的不断推进,越来越多的网站都开始转到HTTPS方式,HTTP仅仅作为重定向到HTTPS的途径。本文介绍了如何在centos7服务器上搭建基于nginx的HTTPS服务器,并且支持SNI(服务器名称指示)。1.准备域名和HTTPS证书(1)域名准备:可参考博客免费申请tk域名(2)HTTPS证书准备:...原创 2019-01-17 20:59:51 · 2465 阅读 · 0 评论 -
用虚拟机搭建web服务器,在局域网内访问的实现
转载原文:https://blog.csdn.net/estrs_k/article/details/70193804 用虚拟机搭建web服务器,在局域网内访问的实现因为本人为穷学生一个,并没有云主机,于是突发奇想,用虚拟机作为sever,是否可以在局域网内访问呢?经过我的试验,想法可行.于是将昨天的经历写下来.( 虚拟机centos 7+Apache)实施的准备: 1)虚拟机的安装c...转载 2019-01-18 15:26:41 · 9563 阅读 · 2 评论 -
Centos7中yum方式安装java
1.查看CentOS自带JDK是否已安装[root@wugenqiang ~]# yum list installed |grep java若有自带安装的JDK,应如下操作进行卸载CentOS系统自带Java环境[root@wugenqiang ~]# java -versionjava version "1.7.0_181"OpenJDK Runtime Environmen...原创 2019-01-19 17:22:17 · 2623 阅读 · 0 评论 -
xshell出现WARNING!The remote SSH server rejected X11 forwarding request.
使用xshell第一次连接时,可能会连接多次才能连上,出现:WARNING!The remote SSH server rejected X11 forwarding request.解决方法:vi /etc/ssh/sshd_config 在X11这行改为X11Forwarding yes,然后再将UseLogin参数为no,可能这一行最开始是被注释,去掉注释,保存之后重启ssh...原创 2019-01-19 18:05:33 · 64532 阅读 · 24 评论 -
IDEA把springboot通过Maven构建项目发布到docker容器中运行实例(入门基础)
1 准备工作windows下IDEA安装配置Windows版idea破解,可用到2100年!!!windows安装配置mavenIDEA配置maven并添加镜像配置CentOS7 Docker 安装,当然可以在其他平台安装Docker,你可以尝试一下嘿嘿CentOS 7部署Docker,启动Docker查看好安装docker的宿主机的ip:本人的虚拟机docker宿...原创 2019-01-20 11:59:18 · 3292 阅读 · 1 评论 -
IDEA把springboot通过Gradle构建项目发布到docker容器中运行实例(入门基础)
1 准备工作windows下IDEA安装配置Windows版idea破解,可用到2100年!!!windows环境下IDEA中安装配置和使用gradleCentOS7 Docker 安装,当然可以在其他平台安装Docker,你可以尝试一下嘿嘿CentOS 7部署Docker,启动Docker查看好安装docker的宿主机的ip:本人的虚拟机docker宿主机ip:192...原创 2019-01-20 12:00:11 · 2145 阅读 · 0 评论 -
IntelliJ IDEA使用SSH功能
这里提供两种方式:一、第一种:不能保存会话信息,即每次连接都要重新输入一遍1 Tools→Start SSH session...2 选择Edit credentials...3 输入SSH登录信息即可4 连接成功~~ 二、第二种:可以保存会话信息1 Tools → Deployment →Configuration2 点击左上角+号,...原创 2019-01-20 21:25:51 · 12703 阅读 · 0 评论 -
Centos7中用Docker搭建WordPress博客
参考:https://blog.csdn.net/u011054333/article/details/70136099 WordPress是一个非常著名的PHP编写的博客平台,发展到目前为止已经形成了一个庞大的网站平台系统。在WP上有规模庞大的插件和主题,可以帮助我们快速建立一个博客甚至网站,今天尝试在Linux上使用Docker来安装WordPress。本着“容器只干一件事情”的原则,...原创 2019-01-22 09:24:20 · 2777 阅读 · 1 评论 -
CentOS7 Docker 安装
部署docker请参考:Centos7部署DockerDocker 运行在 CentOS 7 上,要求系统为64位、系统内核版本为 3.10 以上。1.验证CentOS 版本是否支持 Docker 通过 uname -r 命令查看你当前的内核版本[root@wugenqiang ~]# uname -r2.使用 yum 安装 Docker本文介绍 Docker CE ...原创 2019-01-16 15:42:03 · 1030 阅读 · 0 评论 -
CentOS 7部署Docker
安装docker请参考:Centos7安装Docker1.设置镜像[root@wugenqiang ~]# vim /etc/docker/daemon.json填写:{ "registry-mirrors": ["http://hub-mirror.c.163.com"]}2.开放管理端口映射(1)修改/lib/systemd/system/docker.ser...原创 2019-01-16 15:59:17 · 918 阅读 · 0 评论 -
docker安装配置mysql5.7
1.查找Docker Hub上的mysql镜像这个结果是按照一定的星级评价规则排序的[root@wugenqiang ~]# docker search mysql2.拉取官方的镜像,标签为5.7[root@wugenqiang ~]# docker pull mysql:5.7等待下载完成后,我们就可以在本地镜像列表里查到REPOSITORY为mysql,标签为5.7...原创 2019-01-16 16:33:41 · 1034 阅读 · 0 评论 -
docker常用命令
1.查看镜像[root@wugenqiang ~]# docker images2.查看容器运行情况[root@wugenqiang ~]# docker ps3.查看版本[root@wugenqiang ~]# docker -vDocker version 18.09.0, build 4d60db4 ...原创 2019-01-16 16:55:09 · 231 阅读 · 0 评论 -
cantos安装javacc
1.官网下载:javacc下载地址:https://javacc.org/download,并导入虚拟机2.安装支持ZIP的工具:输入:yum install -y unzip zip3.解压:unzip javacc-6.0.zip4.移动位置:mv javacc-6.0 /opt5.vim /etc/profile增加path变量:添加export JAVACC_HOME...原创 2018-08-16 10:42:10 · 499 阅读 · 0 评论 -
automake安装1.14.1版本
1.输入命令:wget http://ftp.gnu.org/gnu/automake/automake-1.14.1.tar.gz下载autoconf安装包2.解压缩automake-1.14.1.tar.gz ,输入命令:tar -zxvf automake-1.14.1.tar.gz -C /opt/3.进入解压缩后的目录automake-1.14.1,输入命令:cd /opt/au...原创 2018-08-16 10:39:27 · 11584 阅读 · 0 评论 -
【学习笔记】Linux操作练习
Linux学习,操作练习原创 2018-07-11 11:46:21 · 504 阅读 · 0 评论 -
【学习笔记】CentOS环境下Linux命令行安装VMware tools
VMware Tools是VMware虚拟机中自带的一种增强工具,相当于VirtualBox中的增强功能(Sun VirtualBox Guest Additions),是VMware提供的增强虚拟显卡和硬盘性能、以及同步虚拟机与主机时钟的驱动程序。只有在VMware虚拟机中安装好了VMware Tools,才能实现主机与虚拟机之间的文件共享,同时可支持自由拖拽的功能,鼠标也可在虚拟机与主机之间自由移动(不用再按ctrl+alt),且虚拟机屏幕也可实现全屏化。原创 2018-07-11 12:13:49 · 1344 阅读 · 0 评论 -
【学习笔记】CentOS7安装Mysql5.7
一、说明1.linux环境:本人的是centos72.mysql:本文选择的是5.7版本3.安装需要下载依赖包,使用yum安装的方式二、安装Mysql1.下载原创 2018-07-11 21:27:07 · 338 阅读 · 0 评论 -
大数据实习服务启动项汇总
启动master1节点上的服务:systemctl start hadoop-hdfs-namenodesystemctl start hadoop-hdfs-datanode启动master2节点上的服务:systemctl start hadoop-hdfs-datanodesystemctl start hadoop-hdfs-secondarynamenode启动s...原创 2018-07-23 15:04:43 · 357 阅读 · 0 评论 -
【学习笔记】ssh用法及命令
待整理原创 2018-07-12 10:30:27 · 365 阅读 · 0 评论 -
【学习笔记】Linux中的 MongoDB 安装、启动、连接以及停止操作详解
待写原创 2018-07-12 11:40:53 · 784 阅读 · 0 评论 -
VMware Linux虚拟机运行提示“锁定文件失败,虚拟机开启模块snapshot失败”的解决办法
原因:由于意外关闭虚拟机等原因造成虚拟机系统不正常关闭导致解决办法:1、找到虚拟机所安装的文件夹2、删除该文件夹下所有后缀为 .lck 的文件3、重启虚拟机即可...原创 2018-07-18 17:30:04 · 6589 阅读 · 1 评论 -
搭建hadoop分布式集群以及大数据开发环境(配置hdfs,yarn,mapreduce等)
一、hadoop集群1.节点master:master1: ip:192.168.75.137master2: ip:192.168.75.138slave:slave1: ip:192.168.75.139slave2: ip:192.168.75.140操作:(1)查看ipifconfig(2)更改hostname主机名hostnamec...原创 2018-07-18 17:40:53 · 1020 阅读 · 0 评论 -
MongoDB数据库基本操作使用详解
MongoDB操作演示原创 2018-07-13 09:20:44 · 1874 阅读 · 0 评论 -
MongoDB权限管理用户
MongoDB权限管理用户原创 2018-07-13 14:29:19 · 2820 阅读 · 1 评论 -
Linux下MongoDB集群之创建并配置副本集群
Linux下创建并配置MongoDB副本集群原创 2018-07-13 18:53:36 · 1127 阅读 · 0 评论 -
通过xshell远程连接ubuntu
一、ubuntu开启sshd服务注:SSH分客户端openssh-client和openssh-server1.登陆别的机器的SSH只需要安装openssh-client(ubuntu有默认安装,如果没有则sudo apt-get install openssh-client),weigion@wugenqiang:~$ sudo apt-get -f install opens...原创 2018-07-25 20:57:20 · 383 阅读 · 0 评论 -
【知识整理】chmod命令
chmod命令用来变更文件或目录的权限。用户可以使用chmod指令去变更文件与目录的权限,设置方式采用文字或数字代号皆可。符号连接的权限无法变更,如果用户对符号连接修改权限,其改变会作用在被连接的原始文件。权限范围的表示法如下:u :User,即文件或目录的拥有者;g :Group,即文件或目录的所属群组;o :Other,除了文件或目录拥有者或所属群组之外,其他用户皆属于这个范围...原创 2018-07-20 14:51:39 · 569 阅读 · 0 评论 -
Centos7中安装Git并连接使用GitHub基本操作
一、安装git1.最新git源码下载地址:https://github.com/git/git/releaseshttps://www.kernel.org/pub/software/scm/git/安装gityum install git查看yum源仓库Git信息yum info git2.安装依赖库[root@wugenqiang ~]# yum in...原创 2018-07-26 10:24:04 · 14080 阅读 · 2 评论 -
大数据可视化之Nginx日志分析及web图表展示(HDFS+Flume+Spark+Nginx+Highcharts)
项目需求:采集1-3台机器的nginx的access.log(/var/log/nginx/access.log)实时保存在HDFS中使用spark对当天的日志进行汇总分析在web界面中以图表的形式展示出来,需要体现如下2个表:1:哪个URL访问数量最大,按访问量从多到少排序展示出来2:哪些IP访问造成404错误最多,按从多到少排序展示出来提高练习:使用spark对所有...原创 2018-08-08 16:01:18 · 7945 阅读 · 0 评论 -
运行bash脚本,访问网页,生成日志记录
1.编写bash脚本#!/bin/bash step=1 #间隔的秒数,不能大于60 host_list=("localhost" "192.168.75.137" "master1" "wugenqiang.master")while [ 1 ]do num=$(((RANDOM%7)+1)) seq=$(((RANDOM%4))) url="http...原创 2018-07-31 20:50:42 · 1159 阅读 · 1 评论 -
更换centos镜像源
国内主要开源的开源镜像站点网易和阿里云,网易地址:http://mirrors.163.com/.help/CentOS7-Base-163.repo阿里云地址:http://mirrors.aliyun.com/repo/Centos-7.repo可以更改为这两个之一,在此使用网易的镜像演示1.首先备份系统自带yum源配置文件:我的源hanwate_cdrom.repo.ba...原创 2018-08-16 10:31:40 · 2478 阅读 · 0 评论 -
docker安装tomcat
一、安装步骤:1.搜索tomcat镜像[root@wugenqiang ~]# docker search tomcat2.拉取tomcat镜像[root@wugenqiang ~]# docker pull tomcat3.根据镜像启动tomcat容器[root@wugenqiang ~]# docker run --name tomcat1 -d -p 8080:...原创 2019-01-16 19:06:23 · 301 阅读 · 0 评论