Linux
我真的不想学啦
这个作者很懒,什么都没留下…
展开
-
【待解决】 tar时gzip: stdout: No space left on device
原创 2021-03-26 19:43:19 · 1043 阅读 · 0 评论 -
Linux下内存buff/cache占用过多问题解决
转载记录在Linux下经常会遇到buff/cache内存占用过多问题,尤其是使用云主机的时候最严重,由于很多是虚拟内存,因此如果buff/cache占用过大的,free空闲内存就很少,影响使用;通常内存关系是:普通机器:total=used+free虚拟机器:total=used+free+buff/cache输入命令echo 1 > /proc/sys/vm/drop_cachesecho 2 > /proc/sys/vm/drop_cachesecho 3 > /pr原创 2021-03-26 16:34:04 · 364 阅读 · 0 评论 -
Linux上传输大于4G的文件,sz命令用不了
转载 记录拆分文件:cat tomcat7.zip | split -b 2G - tomcat7.zip.命令解释:tomcat7.zip 是待下载的大于4g文件拆分成2G的小文件tomcat7.zip. 是拆分后文件的前缀,默认分拆后文件名称为tomcat7.zip…ab,ab,ac…下载多个小文件:sz tomcat7.zip.a*windows中合并:1.打开cmd,进入sz下载拆分文件所在目录。2.copy /B tomcat7.zip.aa + tomcat7.zip转载 2021-03-26 10:59:22 · 2305 阅读 · 0 评论 -
linux安装配置阿里云的yum源
备份原本的仓库文件cd /etc/yum.repos.d/mkdir allbakmv ./* allbak#此时 /etc/yum.repos.d/底下就没有repo文件,此时无法使用yum工具,必须配置yum源,生成新的.repo文件1.下载第一个阿里云仓库文件wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo-O 参数 ,指定一个下载地址,且改名2.配置第二个仓库文原创 2020-10-30 15:37:03 · 2023 阅读 · 0 评论 -
Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. MetaException(message:E
在hive上传数据时 输入hive (db_emp)> load data local inpath ‘/opt/datas/emp.txt’ into table emp_part partition(date=‘2018120’);这个命令则会报出以下错误:hive (test)> load data local inpath ‘/tmp/hivedatas/score.cs...原创 2019-11-20 16:25:42 · 3930 阅读 · 1 评论 -
HDFS基本介绍
HDFS基本介绍HDFS是 Hadoop Distribute File System 的简称,意为:Hadoop 分布式文件系统。是 Hadoop 核心组件之一,作为最底层的分布式存储服务而存在。分布式文件系统解决的问题就是大数据存储。 它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景,它们为存储和处理超大规模数据提供所需的扩展能力。HDFS使用Mast...原创 2019-11-04 09:33:21 · 268 阅读 · 5 评论 -
Linux安装Hadoop集群超详细教程
环境:CentOS6.9+hadoop-2.6.0安装环境服务部署规划注 : 代码已全部标注第一步:上传压缩包并解压将我们重新编译之后支持snappy压缩的Hadoop包上传到第一台服务器并解压(如果没有重新编译的文件可以去看我的上一篇文章:Linux中CDH版本Hadoop重新编译)第一台机器执行以下命令cd /export/softwares/mv hadoop-2.6.0-c...原创 2019-10-31 20:20:09 · 533 阅读 · 1 评论 -
Linux中CDH版本Hadoop重新编译
为什么要编译Hadoop由于CDH的所有安装包版本都给出了对应的软件版本,一般情况下是不需要自己进行编译的,但是由于CDH给出的Hadoop的安装包没有提供带C程序访问的接口,所以我们在使用本地库(本地库可以用来做压缩,以及支持C程序等等)的时候就会出问题。由于后续需要使用snappy进行压缩数据,而CDH给出的Hadoop的安装包没有提供带C程序访问的接口,无法使用snappy,所以使用本地...原创 2019-10-31 17:48:19 · 201 阅读 · 0 评论 -
Linux安装MySQL详细步骤
安装mysql1 yum安装原理:yum安装是通过执行yum命令,自动分析依赖关系, 自动下载, 自动安装2 yum安装优点:安装简单、快速3 缺点:由于不同的yum仓库只有特定的几个版本,所以可选的版本较少。4 yum安装实战下面看看如何在CentOS7系统上安装 MySQL5.6.441 查询系统自带的mysql[root@hadoop01 yu...原创 2019-10-21 17:27:34 · 180 阅读 · 0 评论 -
Linux如何安装集群及细节操作
新增linux系统第一步: 克隆虚拟机第二步: 更改新增系统的mac地址vim /etc/udev/rules.d/70-persistent-net.rules第三步: 更改网卡信息 (setup)vim /etc/sysconfig/network-scripts/ifcfg-eth0第四步: 重启系统生效reboot三台机器 关闭防火墙内网环境 安全性比较高, 防火...原创 2019-10-22 16:11:49 · 1462 阅读 · 1 评论 -
Linux关于yum Error: Cannot retrieve repository metadata (repomd.xml) for repository:xxxxxx.
错误信息就是提示你:xxxxxx.repo这个文件有问题。解决办法如下:(1)打开/etc/yum.repos.d/xxxxxx.repo文件(2)enabled=1改成enabled=0原创 2019-10-22 15:02:09 · 781 阅读 · 0 评论 -
Linux解决MySQL登录ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using passwor)问题
问题描述:下载完mysql之后想要设置密码,输入/usr/bin/mysqladmin -u root -p '123456'之后出现了如下错误:解决方案:方式一:免密登录MySQL然后再次进入到终端当中,敲入 mysql -u root -p命令然后回车,当需要输入密码时,直接按enter键,便可以不用密码登录到数据库当中 , 如图所示 :输入:mysql>UPDATE my...原创 2019-10-25 15:26:59 · 7481 阅读 · 1 评论