linux
云游遍天下
心有山海,静而无边。
展开
-
nginx正向代理
感谢原作者,原地址:https://cloud.tencent.com/developer/article/1521322一、nginx正向代理介绍及配置1、环境介绍代理服务器系统环境为:centosnginx代理服务器为:192.168.10.10测试客户端为局域网内任意windows电脑或Linux电脑2、正向代理简介nginx不仅可以做反向代理,还能用作正向...转载 2019-11-01 13:05:18 · 2222 阅读 · 0 评论 -
hadoop入门1:MapReduce 入门demo - wordcont
今天初次接触MapReduce,虽然目前很少有人用MR,但是我相信这块还是要学一下的,因为这块思想会影响后面的学习。第一个demo也是最经典的wordcount,wordcount基本上涵盖了80%的hadoop业务,适合入门;后面写的播客将不会进行多余的解释,模板基本上和wordcount一样,只是业务一样而已mapper:import java.io.IOException;...原创 2018-09-13 20:39:31 · 1083 阅读 · 0 评论 -
hive学习2:Hive drop table卡住的问题,mysql字符集修改了latin,但是还是不行解决方案
刚开始接触hive,在删除表时卡住了,根据网上播客修改mysql字符集为latin,测试后还是不行,给下修改mysql字符串地址:修改mysql字符串地址 我这边修改后是还是无法删除,搞了大半个小时还是不行,最后,只能报着试试的心态升级mysql驱动jar试试,成功了,我之前的旧的jar版本是mysql-connector-java-5.1.6.jar 替换为mysql-con...原创 2018-10-13 23:28:15 · 1121 阅读 · 1 评论 -
hadoop入门搭建环境
下面是比较粗略的搭建过程,详细,请下载hadoop集群搭建文档1.准备Linux环境 1.0先将虚拟机的网络模式选为NAT 1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop01 ### 1.2修改IP 两种方式: 第一种:通过Linux图形界面进行修改(强烈推荐)...原创 2018-10-14 13:26:23 · 335 阅读 · 0 评论 -
hive学习1:hive1.2.1版本安装
Hive只在一个节点上安装即可1.上传tar包2.解压 tar -zxvf hive-1.2.1.tar.gz -C /usr/local mv hive-1.2.1 hive3.安装mysql数据库(切换到root用户)(装在哪里没有限制,只有能联通hadoop集群的节点) mysql安装仅供参考,不同版本mysql有各自的安装流程 rpm -qa | grep m...原创 2018-10-14 15:04:08 · 1796 阅读 · 0 评论 -
zk集群搭建
准备:jdk自行安装,我安装的是"1.7.0_80"下载zk,zk下载地址 根据jdk下载对应的zk,我下载的是zookeeper-3.4.5下载好后上传到服务器上。我的服务器是三台,hadoop01 hadoop02 hadoop03;我先在hadoop01下装zk,装好后,在拷贝到其他服务上安装:1、解压tar -zxvf zookeeper-3.4.5.t...原创 2018-10-09 21:56:35 · 10760 阅读 · 1 评论 -
hive学习5:自定义函数之json对象转换hive数据存储
0元数据,上传到服务器上:{"movie":"2717","rate":"3","timeStamp":"978298196","uid":"2"}{"movie":"2571","rate":"4","timeStamp":"978原创 2018-10-22 22:26:41 · 786 阅读 · 1 评论 -
centos无法连接互联网,离线安装,用镜像文件安装telnet, rpm安装telnet
1、可以到网上下载安装包,自行百度2、我这边直接用镜像文件安装telnet, rpm安装telnet。1 mkdir /mnt/cdrom#2如果报mount: block device /dev/sr0 is write-protected, mounting read-only#请先执行。虚拟机挂着光驱光驱时提示只读,用以下命令可解决该报错, #mount -o remount...原创 2018-10-25 22:49:36 · 2357 阅读 · 0 评论 -
hive学习6:hive级联求和
说明: 级联求和,不仅hive会使用,其实mysql或者Oracle也会用到的,我这边先用mysql实现下,具体需求如下:username month times A 2018-02 5 A 2018-03 10 A 2018-04 10 B 2018-02 5 B 2018-03 1...原创 2018-10-23 22:55:53 · 4244 阅读 · 0 评论 -
hadoop入门3:MR实现Join逻辑
如果看详细的代码模板,请看我的hadoop入门1里有详细的模板,也有详细的解释今天用两组数据进行join;其实数据很简单,订单表: id 日期 产品id 数量 1001 20180923 a001 21002 20180923 a002 11003 20180923 ...原创 2018-09-23 21:28:21 · 410 阅读 · 1 评论 -
shell 脚本编写log日志定时上传HDFS代码
#!/bin/bash#set java envexport JAVA_HOME=/usr/app/jdk1.7.0_80export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/bin:$PATH#set hadoop e...原创 2018-09-05 21:00:03 · 583 阅读 · 1 评论 -
linux基本命令和快捷键
linux的命令操作1、日常操作命令 **查看当前所在的工作目录pwd**查看当前系统的时间 date**查看有谁在线(哪些人登陆到了服务器)who 查看当前在线last 查看最近的登陆历史记录2、文件系统操作**ls / 查看根目录下的子节点(文件夹和文件)信息ls -al -a是转载 2017-03-22 20:57:13 · 252 阅读 · 0 评论 -
linux其他一些命令
批量自动删除rpm包:rpm -qa | grep mysql | while read c; do rpm -e $c --nodeps; doneminimal最小化安装eth0默认没有自启用修改配置文件onboot=true修改静态地址后发现无法ping外网需要设置网关route add default gw 192.168.33.1添加n转载 2017-03-22 21:01:05 · 227 阅读 · 0 评论 -
远程从本地上传到linux服务器命令lrzsz
linux需要安装lrzsz,客户端需要有安装SecureCRT,因为lrzsz是SecureCRT进行管理,如使用putty在使用rz 和sz 命令时界面会卡死的,如果你没有SecureCRT请自行下载!1、安装lrzszyum install lrzsz2、输入rz回车弹出选择文件框 3、建议使用xshell,方便原创 2017-04-15 19:56:45 · 670 阅读 · 0 评论 -
linux自动化启动集群zookeeper
学学shell脚本还是很有必要的。这里只是简单的一个测试代码,自动部署和启动都可以这样写,如果把shell学好,可以写一个hadoop集群环境搭建和部署,想想这搭建环境效率多高。。下面是例子:#!/bin/bashSERVERS="hadoop01 hadoop02 hadoop03"for SERVER in $SERVERSdo ech原创 2017-04-16 20:14:51 · 2316 阅读 · 0 评论 -
配置yum源
1、 检查是否配置yum(命令:yum list),如果没有 :一、到已配置好yum的机器的/etc/yum.resp/目录下,拷贝此目录下的*.repo文件至目标机器的/etc/yum.resp/目录下二、 修改目标机器 CentOS *.repo为XXX.repo.bak三、 目标机器执行命令:rpm -- import /etc/pki/rpm原创 2017-05-13 14:00:41 · 461 阅读 · 0 评论 -
jna调用c接口报unable to load library xxxx.so
由于业务需要,需要调用c接口,但是有so文件,也放到linux下,路径使用的绝对路径,但是一直报unable to load library .so,,,刚开始打算把所有的.so文件放到/etc/lib64,但是怕有重复,就没敢试,我的解决方法是加入动态里:1、cd /etc2、vim ld.so.conf 把需要加载的so文件夹路径,放到ld.so.conf 里,我这边是/hom原创 2017-07-18 11:09:02 · 3132 阅读 · 0 评论 -
linux 安卓mysql出现的问题Starting MySQLCouldn't find MySQL server (/usr/local/mysql/[失败]ysqld_safe)
参照该博主的文章,发现有问题,,点击即可查看遇到的问题启动报这个错误:Starting MySQLCouldn't find MySQL server (/usr/local/mysql/[失败]ysqld_safe)在执行第一步安装的时候注意把这个改下:把这个步骤改成#解压tar -zxvf mysql-5.6.33-linux-glibc2.5-x86_64.tar.gz#复制解压后的mysq...原创 2018-02-11 14:31:26 · 33347 阅读 · 0 评论 -
vmware如何克隆多个linux系统
我用的是centos6.6的linux系统,安装在vmware上的。安装一次系统相对来说耗时较长,且还要做各种配置,那么克隆就不失为一种好的选择。接下来我把我做系统克隆的步骤写下来,供大家参考:右键点击已经安装的虚拟机,选择管理-->克隆,接下来弹出一个窗口这个直接下一步就好,接下来要选择创建完整克隆(建议选择完整,否则可能会产生其他问题)接下来输入名称,选择克隆到的位置...原创 2018-08-10 11:46:03 · 2685 阅读 · 0 评论 -
linux服务器之间免秘钥互相访问
1、在其中一台机器里输入ssh-keygen 一路回车就可以了2、接下来是把公钥拷贝到另外一台机器里并且把公钥添加到authorized_keys,有一种笨方法是拷贝添加;但是还有一个很简单的方式,这两步一次性完成,也是一条命令:ssh-copy-id 192.168.30.102 另外一台结果如下:3、这时hadoo原创 2017-03-18 21:47:24 · 3225 阅读 · 0 评论