XiaoYu@-CSDN博客

原创面试题：连续登陆3天的用户

方法1：SELECT a.name1 FROM ord a JOIN ord b on a.name1=b.name1 and DATEDIFF(b.orderdate,a.orderdate)=1JOIN ord c on c.name1=b.name1 and DATEDIFF(c.orderdate,b.orderdate)=1;方法2：select user_id,data_sub(login_date,rank) as diff,count(1

2022-03-15 22:32:00 380

原创 awk＆sed替换字符串

awk替换双引号函数sub gsub[hadoop0@hadoop0 ~]$ cat awk.txtab,c,d,ef[hadoop0@hadoop0 ~]$ awk '{gsub(/"/,"");print $0}' awk.txtab,c,d,ef替换sed -n 's/a/b/g' file.txt将文件每一行结尾的.换成!sed -i 's/\.$/\!/g' fi...

2019-08-04 18:33:17 2068

原创为什么HBase查询速度快

读取速度快是因为它使用了LSM树型结构，而不是B或B+树。HBase读取首先会在缓存（BlockCache）中查找，它采用了LRU（最近最少使用算法），如果缓存中没找到，会从内存中的MemStore中查找，只有这两个地方都找不到时，才会加载HFile中的内容，而读取HFile速度也会很快，因为节省了寻道开销。...

2019-08-04 18:29:41 1718

原创 HBase读写流程

【写流程】1、Client先从缓存中定位region，如果没有缓存则需访问zookeeper，从.META.表获取要写入的region信息2、找到小于rowkey并且最接近rowkey的startkey对应的region3、将更新写入WAL中。当客户端发起put/delete请求时，考虑到写入内存会有丢失数据的风险，因此在写入缓存前，HBase会先写入到Write Ahead Log（...

2019-08-04 18:08:33 260

原创 docker实践之常用命令

1. 查看docker信息（version、info）# 查看docker版本$docker version # 显示docker系统的信息 $docker info2. 对image的操作（search、pull、images、rmi、history）# 检索image $docker search image_name # 下载image $do...

2019-08-01 12:28:31 129

转载大数据备份方面最常见误区

1、数据有多个副本，就不需要单独的大数据备份/恢复工具。大数据平台创建数据的多个副本，并将这些副本分布在不同的服务器或机架上。万一出现硬件故障，这种类型的数据冗余机制可保护数据。然而，其他任何情况(比如用户错误、意外删除或数据损坏等)都会导致数据丢失，因为这些错误或损坏会迅速蔓延到所有数据副本。2、丢失的数据可以通过原始数据快速而轻松地重建。如果你仍拥有重建丢失数据的所有原始数据，这也许切...

2018-12-15 22:50:05 1075

原创解决ssh登录Host key verification failed

1.StrictHostKeyChecking=no #最不安全的级别，当然也没有那么多烦人的提示了，相对安全的内网测试时建议使用。如果连接server的key在本地不存在，那么就自动添加到文件中（默认是known_hosts），并且给出一个警告。2.StrictHostKeyChecking=ask #默认的级别，就是出现刚才的提示了。如果连接和key不匹配，给出提示，并拒绝登录。3.StrictHostKeyChecking=yes #最安全的级别，如果连接与key不匹配，就拒绝连接，不会提

2018-11-15 21:43:49 3076 1

原创 sqoop安装

sqoop list-databases --connect jdbc:mysql://hadoop0:3306/ --username root --password rootsqoop list-tables --connect jdbc:mysql://hadoop0:3306/hive --username root --password rootsqoop import --co...

2018-10-09 00:10:47 135

原创 storm ui显示supervisor个数与实际不符的解决

启动了多个supervisor，单在storm ui上只显示一个删除"storm.local.dir"对应的目录下的内容，或者重新指定一个目录，如：#storm.local.dir 配置保存状态信息的目录 storm.local.dir: "/var/local/apache-storm-1.1.3/data"...

2018-10-08 21:14:27 744

原创 kafka集群安装

1、下载解压2、修改配置vim /usr/local/kafka_2.12-1.0.1/config/server.properties# Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE file dist...

2018-10-08 17:31:06 387

原创 zookeeper-3.4.12集群搭建

解压zookeeper文件到指定目录，执行命令tar -zvxf zookeeper-3.4.12.tar.gz配置环境变量，vim /etc/profilesource /etc/profile#zookeeperexport ZOOKEEPER_HOME=/var/local/zookeeper-3.4.12export PATH=$ZOOKEEPER_HOME/bin:$P...

2018-10-08 14:53:33 753

原创 Zookeeper集群节点数量为什么要奇数个

防脑裂zookeeper的选举策略也是需要半数以上的节点同意才能当选leader，如果是偶数节点可能导致票数相同的情况；在节点数量是奇数个的情况下， zookeeper集群总能对外提供服务（即使损失了一部分节点）；如果节点数量是偶数个，会存在zookeeper集群不能用的可能性（脑裂成两个均等的子集群的时候）。容错zookeeper集群一大特性是只要集群中半数以上的节点存活，集群就可...

2018-10-08 14:28:34 2705

原创 Zookeeper启动失败java.net.BindException

端口被占用了，把2181端口改成别的就可以了修改zookeeper/conf/zoo.cfg下clientPort=2181即可，换成其他端口

2018-10-08 13:58:13 820 1

原创 zookeeper启动失败，日志报错ava.net.BindException: Address already in use

cat zookeeper.out 里面的报错信息如下：用netstat查看下2181占用的情况[root@hadoop0 bin]# sudo netstat -atunlp | grep 2181tcp6 0 0 :::2181 :::* LISTEN 4950/java 发...

2018-10-08 13:54:33 3520

原创 error: command 'gcc' failed with exit status 1

因为是缺乏一些依赖的包一般是缺乏这，执行yum install gcc python-devel实在不行执行这条命令：（安装所附属的依赖）yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel l...

2018-09-28 22:12:06 760

原创 maven 安装（centos7）

wget http://mirrors.cnnic.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz.配置环境变量下载maven的二进制包apache-maven-3.3.9-bin.zip，解压到/data/maven/apache-maven-3.3.9目录# vim /etc/profile...

2018-09-28 22:11:23 123

原创 linux（centos7）添加或修改用户

linux（centos7）添加用户useradd xxx 添加用户（userdel xxx 删除用户）passwd tengxt更改用户 tengxt 的密码。新的密码：重新输入新的密码：passwd：所有的身份验证令牌已经成功更新。授权个人用户的权限只可以在本home下有完整权限，其他目录要看别人授权。而经常需要root用户的权限，这时候sudo可以化身...

2018-09-19 23:08:33 4777

原创通过虚拟机克隆hadoop集群小节

linux（centos7）用户重命名 1 . 注销要重命名的用户，改用其他用户或管理员登录。 2 . 修改用户名 usermod -l 新名旧名 id 旧用户名 # 不存在 id 新用户名 # 显示用户名、组等信息 3 . 修改组名 groupmod -n 新组名旧组名 id 新用户名 # 显示用户名、组等信息 4 . 修改新用户...

2018-09-17 17:39:32 497

原创 Spark优化

1、注意join的使用，如果有较小的表可考虑使用广播的方式实现mapjoin，类似MR/HIVE。广播变量是一个executor一份副本2、注意数据倾斜的问题，这个问题在分布式shuffle操作时都有可能出现，常见几个场景：join操作空值量很多时使用随机值 cout(distinct)操作，拆分成group by 再count 对数据采样抽取出倾斜的key，单独处理，最后做union...

2018-08-28 21:08:07 653

原创 hive+mysql安装配置

1. 启动hadoop 2. 安装mysql 下载和添加仓库wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm sudo rpm -ivh mysql-community-release-el7-5.noarch.rpm yum install mysql-server ...

2018-06-25 17:08:31 262

原创 Storm安装部署

1、先启动zookeeper[root@localhost zookeeper3.4.10]# ./bin/zkServer.sh start2、配置storm环境变量：vi /etc/profile添加：export STORM_HOME=/var/local/apache-storm-1.1.3export PATH=$PATH:$STORM_HOME/bincd conf/ 修改storm....

2018-06-23 16:20:00 134

原创 Zookeeper安装配置

直接解压并进入到conf配置文件目录配置zoo.cfg[root@localhost zookeeper-3.4.11]# cd conf/[root@localhost conf]# lltotal 12-rw-r--r-- 1 502 games 535 Nov 2 02:47 configuration.xsl-rw-r--r-- 1 502 games 2161 Nov 2 02:4...

2018-06-21 17:17:09 195

原创 mportError：cannot import name ‘WordCloud’的解决办法

已经安装python3和wordcloud的情况下，运行py文件（此处为wordcloud.py）总是提示ImportErrorcannot import name ‘WordCloud’1、在确保你已经正确安装wordcloud包的前提下； 2、python文件的命名不能用wordcloud，随便改个名字就行啦！...

2018-06-15 15:45:59 6320 5

原创 error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools"

运行环境：Win 10; Python3.6.5, 64位按照提示是需要安装一个C++14.0的一个库，但是此库总的有4G这么大，下载安装肯定不现实，好在在https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted，已经给我们集成了这个包，可以跳过这库的安装。进入https://www.lfd.uci.edu/~gohlke/pythonlibs/...

2018-06-15 14:22:59 2002

原创 IndexOf、LastIndexOf、Substring截取字符串区别

String.IndexOf String.IndexOf 方法 (Char, Int32, Int32)报告指定字符在此实例中的第一个匹配项的索引。搜索从指定字符位置开始，并检查指定数量的字符位置。String.IndexOf(value, startIndex, count)参数value：要查找的 Unicode 字符。 startIndex：搜索起始位置。 count：要检查的字符位置数...

2018-06-14 18:17:55 1478

原创小数点后精度丢失0的问题

利用SSM框架查询数据库数据时，当数据库数据类型为decimal（18,2)，此时若数据库数据为12.34，后台获取结果也为12.34，这时看上去数据获取没有任何问题，但是当数据库数据为22.00，后台获取结果则变为22，小数点后两位.00丢失，即精度缺失.由于mybatis在进行数据映射的时候，若数据库中字段的类型是decimal、float、double，java类对应字段的类型为BigDec...

2018-06-05 13:22:37 4463

原创下载软件旧版本巧办法

选择最新版下载，如果可以在下载前看地址（iP除外）的可以直接把地址复制出来（忽略第三步），否则立即暂停。到下载管理中复制来源地址（有的需要右键）。复制至地址栏，改掉最后的版本然后进去，就能直接下载了。...

2018-06-04 14:21:39 3678

原创 win10 模块已加载，但对dllregisterServer的调用失败

在批处理的第一行加入：cd /d %~dp0 然后在批处理上右键选择使用管理员权限运行。

2018-06-04 12:52:29 50082 8

原创 sql总结1

<select id="QueryForecastMarketPrice" parameterType="pd" resultType="pd"> SELECT DATE_ADD(DATE,INTERVAL 1 DAY) AS F..

2018-06-01 14:28:00 148

原创安装redis-4.0.2报错

Hint: It's a good idea to run 'make test' ;)make[1]: Leaving directory `/root/redis-4.0.8/src'[root@iZwz9id7ajv83iwz8zptmqZ redis-4.0.8]# make testcd src && make testmake[1]: Entering director...

2018-05-18 17:03:36 2278

原创 MySQL 连接字符串函数 CONCAT()、 CONCAT_WS() 、GROUP_CONCAT()

1，语法：CONCAT（STR1，STR2，...）将多个字符串连接成一个字符串。返回结果为连接参数产生的字符串，如果有任何一个参数为空，则返回值为NULL。2. CONCAT_WS()语法：CONCAT_WS(separator,str1,str2,...)第一个参数是其它参数的分隔符。分隔符的位置在连接的两个字符串之间。分隔符可以是一个字符串，也可以是其它参数。如果分隔符是NULL，则结果为...

2018-05-11 15:16:52 322

原创 mysql 多值检索 find_in_set()函数

mysql 中 find_in_set() 方法：有时候我们在设计数据库时有以下情况，如：在表中有个字段week, 他存储的是视频在周几播放，如某视频只在周1，4，6播放，那么week字段对应的值以 1,4,6 的格式存储那们我们要用sql查找所有视频中周4可以播放的视频 (这个时候不是用like能解决的，使用like可能查到我们不想要的记录)这时就需要 find_in_set()mysql手册中...

2018-05-11 11:57:22 4185

原创 SQL查询一个字段与关联表的多个属性值

SELECT b.establishedTime, b.county, b.type, b.companyName, CONCAT( substring(b.contacts, 1, 3), '/', RIGHT (b.contacts, 11) ) AS contacts, b.address, b.imgUrl, GROUP_CONCAT(...

2018-05-11 11:43:12 6468 1

原创三次握手/四次挥手(TCP/UDP)

TCP (Transmission Control Protocol)和UDP(User Datagram Protocol)协议属于传输层协议。其中TCP提供IP环境下的数据可靠传输，它提供的服务包括数据流传送、可靠性、有效流控、全双工操作和多路复用。通过面向连接、端到端和可靠的数据包发送。通俗说，它是事先为所发送的数据开辟出连接好的通道，然后再进行数据发送；而UDP则不为IP提供可靠性、流控或...

2018-05-11 11:07:17 199

原创 MySSL相关术语

EVEV证书(Extended Validation Certificate)是一种根据一系列特定标准颁发的X.509电子证书，根据要求，在颁发证书之前，证书颁发机构(CA)必须验证申请者的身份。不同机构根据证书标准发行的扩展验证证书并无太大差异，但是有时候根据一些具体的要求，特定机构发行的证书可以被特定的软件识别OVOV证书(Organization Validation SSL)，指需要验证网...

2018-05-10 14:13:31 2081

原创常见的请求错误HTTP状态码

每发出一个http请求之后，都会有一个响应，http本身会有一个状态码，来标示这个请求是否成功，常见的状态码有以下几种：开头的都表示这个请求发送成功，最常见的就是200，就代表这个请求是ok的，服务器也返回了。2,300 3开头的代表重定向，最常见的是302，把这个请求重定向到别的地方了，3,400 400代表客户端发送的请求有语法错误，401代表访问的页面没有授权，403表示没有权限访问这个页...

2018-05-10 11:55:16 6000

原创 SQL编写——查询最近的年份的人均收入与去年的人均收入百分比

SELECT RECORDYEAR, PERINCOME, (SELECT PERINCOME FROM t_info_perinoutcome WHERE RECORDYEAR = (SELECT MAX(RECORDYEAR) FROM t_info_perinoutcome) - 1) as secondPerincome, CONCAT(ROUND((PERINCOM...

2018-05-08 17:55:37 3233

原创左外连接LEFT JOIN和where

SELECT a.id, a.user_name, a.user_type, a.parent_uid, b.limit_num, b.uid FROM pms_users a LEFT JOIN pms_recommend_limit b ON a.id = b.uid WHERE a.user_type = '89' AND a.parent_uid =...

2018-04-12 16:44:29 918

原创 ls: cannot access /home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly-*.jar: No such file or d

ls: cannot access /home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly-*.jar: No such file or directory解决方法打开hive的安装目录下的bin目录，找到hive文件cd $HIVE_HOME/binvi hive将鼠标定位的位置，更改成下图...

2018-04-12 01:03:38 1674

原创数据库重复写入数据问题处理

1. IF(SELECT * FROM TABLE WHERE 字段名=插入值) IS NULL INSERT INTO TABLE 就这样加个IF语句就行了，也可以IF NOT EXISTS(判断值是否存在的查询语句) INSERT INTO TABL2，做唯一约束的。3，使用ignore关键字INSERT INGORE INTO ·table_name· ('user_id', '...

2018-04-11 13:02:27 3610

echarts-gl.js

Hadoop2.0 HA集群搭建步骤

空空如也