2019年09月_码农-

原创 Linux解决 -bash: nc: command not found问题，安装nc

1、执行测试echo “hello qianfeng” | nc hadoop01 6666的时候遇到以下错误：-bash: nc: command not found是因为没有安装nc 的原因2、使用yum安装ncyum install -y nc执行结果：已加载插件：fastestmirror, security设置安装进程Loading mirror speeds fro...

2019-09-23 00:01:17 1787

原创 sqoop、datax几种导入导出

1、列出数据库sqoop list-databases \--connect jdbc:mysql://hadoop01:3306 \--username root --password 123456;2、列出表sqoop list-tables \--connect jdbc:mysql://hadoop01:3306/test \--username root --passwo...

2019-09-21 14:53:41 1191

原创 sqoop从mysql到hive问题

ClassNotFoundException问题大概会需要在sqoop的lib目录下导入三个包， hive-common-...jar ，commons-logging-...jar, hive-exec-..*.jar ..*为版本编号，jar包从hive的lib目录下copy即可1、报错信息如下：ERROR tool.ImportTool: Import failed: java.io...

2019-09-21 10:04:05 421

原创将用户添加到sudoers里面，使用户拥有sudo权限

1、遇到下面问题说明当前用户没有sudo权限，需要将其添加到sudoers文件中[hadoop@hadoop03 ~]$ sudo vi /etc/resolv.conf[sudo] password for hadoop:hadoop 不在 sudoers 文件中。此事将被报告。2、切换为root用户修改sidoers文件[hadoop@hadoop03 ~]$ su root[r...

2019-09-20 20:36:30 642

原创虚拟机ping不通百度等外部网络

设置静态IP之后，ip没问题，发现ping不通百度，但是可以ping通网关1、检查vi /etc/sysconfig/network-scripts/ifcfg-eth0中的属性DEVICE=eth0HWADDR=00:50:56:37:22:E8TYPE=EthernetUUID=ecc26599-dea2-4f74-b94c-6084d30feaa2ONBOOT=yesNM_CO...

2019-09-20 16:01:00 574

原创 VMware虚拟机启动错误（正在被占用、内部错误）等问题

解决虚拟机大部分启动时错误（比如正在被占用、内部错误等）1、究极方法（基本上启动错误都可解决，还没遇到解决不了的）：虚拟机大部分启动时错误（比如什么正在被占用、内部错误等）是因为我们非正常关闭虚拟机导致，尝试了删除 .lck文件、重启vmware、重启电脑都没用，此时我们的终极解决方案1）从控制面板中打开电源选项，找到关闭电源按钮的功能2）点击更改当前不可用设置–将启用快速启动选项取...

2019-09-20 15:02:55 7397 3

原创 Hive更换TEZ引擎

1、关于版本问题：hive-1.2.1+tez-0.9.0+hadoop-2.7.7hive-2.3.6+tez-0.9.0+hadoop-2.7.1两种搭配均试过可行，之前配置的时候觉得与版本有很大关系，试过之后发现版本影响不大，还没发现有问题2、Tez安装与配置1、解压并修改文件夹名字[hadoop@hadoop01 tez]$ tar -zxvf apache-tez-0.9.0...

2019-09-20 10:49:04 4822 1

在Hadoop2.X之前，Namenode是HDFS集群中可能发生单点故障的节点，每个HDFS集群只有一个namenode，一旦这个节点不可用，则整个HDFS集群将处于不可用状态。HDFS高可用（HA）方案就是为了解决上述问题而产生的，在HA HDFS集群中会同时运行两个Namenode，一个作为活动的Namenode（Active），一个作为备份的Namenode（Standby）。备份的Na...

2019-09-10 19:53:41 257

原创 1、程序员常用工具网站

1、优品PPT高品质免费PPT模板下载网站，比第一PPT质量高很多。网站：http://www.ypppt.com2、图片无损变大网站：http://bigjpg.com/zh3、文件格式转换工具cloudconvert 一个格式转换网站，你能想到的格式转换几乎都有网址：https://cloudconvert.com4、文件共享拷贝兔拷贝兔是款跨平台文件传输工具，能做...

2019-09-09 16:37:29 883

weixin_42119153的博客