自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(30)
  • 收藏
  • 关注

原创 Mysql: Access denied for user 'root'@192.168.48.10(using password:YES)

Access denied for user 'root'@192.168.48.10(using password:YES)的解决办法如下:mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '000000' WITH GRANT OPTION;Query OK, 0 rows affected (0.00 ...

2018-11-26 09:01:54 1587

原创 openstack 500 " No valid host was found. There are not enough hosts available."

openstack创建云主机报错500: vi nova.conf#scheduler_default_filters = AvailabilityZoneFilter,RamFilter,ComputeFilter,ComputeCapabilitiesFilter,ImagePropertiesFilter,ServerGroupAntiAffinityFilter,Server...

2018-11-26 08:48:18 2943 1

原创 搭建vsftp虚拟用户

一:基本知识   1:虚拟用户:与系统无关联,不能登入系统,只能访问FTP服务器   2:vsftp的服务进程是vsftpd3:vsftpd的配置文件是/etc/vsftpd/vsftpd.conf .4:vsftpd的用户文件是/etc/vsftpd/ftpusers5:vsftpd的用户文件是/etc/vsftpd/user_list6:推荐使用虚拟用户登入vs-FTP服务器二...

2018-11-18 14:31:44 463

原创 MySQL 常用sql语句

1、navicat讲解(1)安装navicat,破解软件。(2)Access denied for user 'root'@192.168.48.10(using password:YES)的解决办法如下:mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '000000' WITH GRANT OPTION...

2018-11-18 14:30:43 474

原创 Linux基础练习总结-消息推送部署

1、错误排查[root@controller ~]# python hello.py Traceback (most recent call last):  File "hello.py", line 4, in <module>    import urllib.parseImportError: No module named parse出现这个错误,是因为我使用的Py...

2018-11-18 14:29:01 346

原创 Vmware的三种网络模式

大家在安装完虚拟机后,默认安装了如下图的两块虚拟网卡——VMnet1和VMnet8,其中VMnet1是host网卡,用于host方式连接网络;VMnet8是NAT网卡,用于NAT方式连接网络的,并且它们的IP地址是随机生成的。VMware提供了三种工作模式,分别是bridged(桥接模式)、NAT(网络地址转换模式)和host-only(仅主机模式)。bridged(桥接模式)在这种模式下...

2018-11-18 14:23:42 148

原创 Linux基础命令复习-集群常用命令详解

1.ifconfig/ip a[root@controller ~]# ifconfig eth0eth0      Link encap:Ethernet  HWaddr 00:0C:29:C3:C5:49            inet addr:192.168.48.10  Bcast:192.168.48.255  Mask:255.255.255.0          inet6...

2018-11-09 10:51:58 954

原创 Linux基础命令复习-操作文件命令详解

操作文件命令详解创建文件:touch-a  或--time=atime或--time=access或--time=use  只更改存取时间-c  或--no-create  不建立任何文档-d  使用指定的日期时间,而非现在的时间-f  此参数将忽略不予处理,仅负责解决BSD版本touch指令的兼容性问题 --------难得看到一个 -f 吃瘪,从来无视别人的,终也被人无视了。^^...

2018-11-08 17:45:39 771

原创 Linux基础命令复习-操作目录命令详解

操作目录命令ls-a 显示所有文件及目录 (ls内定将文件名或目录名称开头为"."的视为隐藏档,不会列出)-l 除文件名称外,亦将文件型态、权限、拥有者、文件大小等资讯详细列出-r 将文件以相反次序显示-d 只看当前目录的信息-t 将文件依建立时间之先后次序列出-A 同 -a ,但不列出 "." (目前目录) 及 ".." (父目录)-F 在列出的文件名称后加一符号;例如可执行档...

2018-11-08 17:44:33 905

原创 部署双节点openstack私有云

Controller:1、修改主机名vi /etc/sysconfig/network使主机名生效:hostname controller&&bash2、添加主机名与ip地址映射vi /etc/hosts测试下是否映射成功:ping controllerping compute4、关闭防火墙并设置开机不启动service ipta...

2018-11-07 15:15:47 908

原创 Linux 学习笔记(九)

1、samba//samba基础知识samba主要提供了文件共享服务和名称解析samba用到的端口:TCP:139,445 UDP:137,138samba服务器的主要程序:smbd提供对服务器中文件资源共享访问               nmbd提供基于NetBIOS主机名称的解析samba的服务脚本:/etc/init.d/smbsamba的主配置文件:/etc/...

2018-08-08 08:07:40 1427

原创 Linux 学习笔记(八)

1、Rsync远程同步//Rsync远程同步//常用rsync -a ,rsync 比ssh 更高效,例如,第一次复制了1,第二次复制1,2时,rsync会只复制2,它底层会识别已经复制了1一款快速增量备份工具 Remote Sync,远程同步;采用rsync算法,使一个客户机和远程服务器之间文件同步,可以在中断后恢复传输;支持本地复制,或者与其他SSH、rsync主机同步;...

2018-08-08 08:07:04 1164

原创 Linux 学习笔记(七)

//dhcpDHCP服务:分配IP、网关、子网掩码为大量客户机自动分配地址,提供集中管理减轻管理和维护成本、提高网络配置效率 可分配的地址信息主要包括:网卡的IP地址、子网掩码对应的网络地址、广播地址默认网关地址DNS服务器地址 DHCP客户:是通过DHCP来获得网络配置参数的主机,通常就是普通用户的PC机DHCP服务器:是提供网络设置参数给DHCP...

2018-08-08 08:06:28 277

原创 Linux 学习笔记(六)

//配置网络 1、名词解析//广播地址广播地址(Broadcast Address)是专门用于同时向网络中所有工作站进行发送的一个地址。在使用TCP/IP 协议的网络中,主机标识段host ID 为全1 的IP 地址为广播地址,广播的分组传送给host ID段所涉及的所有计算机。广播地址主要有两类广播地址应用于网络内的所有主机1)受限广播它不被路由发送,但会被送到相...

2018-08-08 08:05:36 1243

原创 Linux 学习笔记(五)

// 系统监视和日志管理 // /proc虚拟文件系统是一种内核和内核模块用来向进程发送信息的机制,这个伪文件系统允许与内核内部数据结构交互,获取有关用户进程的有用信息,在运行中改变设置(通过改变内核参数),存在于内存中,有3个重要目录: net;依赖于内核配置 sys ;可写,可通过其来访问和修改内核参数 scsi;依赖于内核配置,如果系统不支持scsi,    则不存在...

2018-08-08 08:05:02 540

原创 Linux 学习笔记(四)

//grup引导文件[root@localhost 桌面]# vim /boot/grub/grub.conf default=0timeout=5splashimage=(hd0,0)/grub/splash.xpm.gzhiddenmenu//title 以前是全局设置title Red Hat Enterprise Linux (2.6.32-220.el6.x8...

2018-08-08 08:04:26 1161

原创 Linux 学习笔记(三)

echo ------- >> 1.txt  [zkpk@localhost 桌面]$ df -Th          //查看磁盘使用情况文件系统    类型      容量  已用  可用 已用%% 挂载点/dev/sda3     ext4     20G  5.2G   13G  29% /tmpfs        tmpfs   1000M  124K 1...

2018-08-08 08:03:43 971

原创 Linux 学习笔记(二)

echo ------- >> 1.txt  [zkpk@localhost 桌面]$ df -Th          //查看磁盘使用情况文件系统    类型      容量  已用  可用 已用%% 挂载点/dev/sda3     ext4     20G  5.2G   13G  29% /tmpfs        tmpfs   1000M  124K 1...

2018-08-08 08:03:00 962

原创 Linux 学习笔记(一)

shell的版本:/bin/sh/bin/bash */sbin/nologin/bin/tcsh/bin/csh 外部命令:任何一个外部命令都是一个可执行的文件,例如ls,外部命令保存在硬盘上内部命令:shell解释器的一部分,例如cd,内部命令保存在内存中 复制:ctrl+shift+c粘贴:ctrl+shift+v复制粘贴:选中,按下滚轴 ...

2018-08-08 08:02:08 278

原创 自定义Hive文件和记录格式(十)

create table 语句中默认的是stored as textfile      练习了store as sequencefile,省空间,提升i/o性能      PIG中输入输出分隔符默认是制表符\t,而到了hive中,默认变成了八进制的\001, 也就是ASCII:ctrl - A Oct Dec Hex ASCII_Char 001 1 01 SOH (start of ...

2018-08-08 07:57:16 209

原创 Sqoop数据ETL工具(九)

19.9 使用Sqoop将数据导入MySQL要求:MySQL服务启动且运行正常,命令为:[zkpk@master ~]$ /etc/init.d/mysqld statusHadoop集群启动且运行正常,命令为:[zkpk@master ~]$ jps将前面生成的实时数据从HDFS导入到MySQL中,步骤如下:以下操作都是在MySQL交互客户端执行。(1)登录MyS...

2018-08-07 16:02:14 749

原创 Hive内置函数和UDF(八)

      用户自定义函数(UDF)是一个允许用户扩展HiveQL的强大的功能       show function ;        describe function concat;        describe function extended concat;     标准函数  UDF     聚合函数  UDAF,从零行到多行的零个到多个列,然后返回单一值 ...

2018-08-07 16:01:41 363

原创 Hive设计模式(七)

分区:1、有级别  2、根据业务需求Hive 没有主键或基于序列密钥生成的自增键的概念。如果可以的话,应避免对非标准化数据进行连接(join)操作视图查询不支持中文 为表添加列  : alter table 表名 add columns(  id  int); 列式存储将会使分析表数据执行得更快RCFile ORC   create table abc(id...

2018-08-07 16:01:04 315

原创 HiveQL:视图(六)

create view sogou_view as select * from sogou_20111230 where rank <=3; show tables; select * from sogou_view limit 3; select count(distinct uid) from sogou_view;

2018-08-07 16:00:16 193

原创 HiveQL:查询(五)

select ...(field)from....(table) select  * from sogou_20111230 limit 3;select * from sogou.sogou_20111230 limit 3; 可以在别的数据库下,select * from sogou.sogou_20111230 limit 3; select uid from s...

2018-08-07 15:59:31 2765

原创 HiveQL:数据操作(四)

向管理表中加载数据:hive> load data local inpath '/home/zkpk/test' overwrite  into table testpar partition (day='0925');//0925分区内的数据会先删除 通过查询语句向表中插入数据:hive> insert into table testpar    > par...

2018-08-07 15:57:19 362

原创 HiveQL:数据定义(三)

drop database if exists 数据库名 cascade ;//数据库里有表,删不掉,需用强制删除create table test(id string, name string, age int);CREATE TABLE table(id STRING,name STRING,age INT)ROW  FORMAT  DELIMITEDFIELDS ...

2018-08-07 15:56:48 596

原创 Hive数据类型和文件格式(二)

e1:sogou 500w数据,创建一张表sogou_20111230,这张表在sogou这个数据库中,注意,6个字段的数据类型. create table t1(id STRING,name STRING,age INT)    > ROW FORMAT DELIMITED     //delimited  分隔    > FIELDS TERMINATE...

2018-08-07 15:56:14 203

原创 Hive基础概念(一)

Hive是基于hadoop的数据仓库  用CLI(命令行界面)与Hive进行交互Hive通过一个表示‘job执行计划’的XML文件驱动执行内置的、原生的Mapper和Reducer Hive通过和JobTracker通信来初始化MapReduce任务(job),而不必部署在JobTracker所在的管理节点上执行。在大型集群上通常有网关机专门用于部署像Hive这样的工具。在这些网关机上...

2018-08-07 15:55:35 168

原创 钉钉机器人定点执行制作流程

一、钉钉机器人的实现主要分为三个步骤:1.钉钉群机器人制作;2.钉钉群机器人接口开发;3.服务器shell脚本与计划任务编写。 二、钉钉群机器人的制作进入要添加机器人的目标群后 到这里群机器人已经添加完成,下面写代码往这个接口发送信息。 三、钉钉群机器人接口开发我是参照钉钉开放平台的,链接如下:https://open-doc.d...

2018-08-07 09:27:31 3332 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除