- 博客(78)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 这SDN，搞毛啊
差点把1024搞成拼多多百亿补贴，为解决焦头烂额时你让我抢红包？1.首页改版，2.搞在线教育的风口，大数据，区块链，原生云，3.文章折叠，不登录不给看，4.不登录不给复制，5.头条、直播。我一个普通码农，作者排名都到3万了，说明没多少活跃了，还瞎jb折腾。什么都想搞一下，就是不好好服务码农，老板要是钱多去新搞个别的产品啊，别非拿牙签当棒槌，内容常被爬走说明这里除了内容还有别的东西不能满足需求，有改进的地方。好好做个开发者社区吧。...
2021-10-25 22:56:18
11678
原创 用Echarts自定义多系列左右双坐标对比的图表，适合展示TGI对比等场景
用Echarts自定义多系列左右双坐标对比的图表，适合展示TGI对比等场景。renderItem = function (params, api) { console.log('------------') var xValue = api.value(1); console.log(api.value(1)) console.log(params) var currentSeriesIndices = api.curr...
2021-05-17 17:38:39
1001
原创 maven解决冲突2021-03-04
一、冲突的原因不同jar包依赖同一个jar的不同版本，因为加载顺序的原因，可能出现某些method在低版本的jar中找不到，因此抛异常。二、解决知识核心1、在dependencyManagement 指定版本完成定义，在具体模块中引入时不用指定版本，会从定义中选取；2、Maven默认处理策略1）最短路径优先2）最先声明优先3）移除依赖：用于排除某项依赖的依赖jar包 exclusions4）版本锁定原则：一般用在继承项目的父项目中（避免各种引入、并且路径最短）...
2021-03-04 14:56:46
96
1
原创 web系统添加水印
目录实现：配置页面变动后重绘实现：第三方github地址：https://github.com/saucxs/watermark-domconst userIp = d.userIp ? ", " + d.userIp: ""; // 获取用户IPconst dateString = new Date().toLocaleString({},{ hour12: false}); // 计算时间let zone = -new Date().getTimezoneOffset
2021-02-23 16:53:07
556
原创 【原创】邮件反伪造&增加可行度防分为垃圾邮件的两种方式SPF&DKIM
邮件反伪造&增加可行度防分为垃圾邮件的两种方式:一、SPF方式DNS添加如下解析：二、DKIM1方式0.配置domain见 https://www.freehao123.com/iredmail/1.生成密钥2.添加到DNS解析3.测试or------------------------------------------------------------------------------------------...
2021-01-21 16:25:07
192
原创 hdfs openforwrite 租约释放linux命令
hadoop fsck /data/files/ods/pt_date=20191223 -openforwrite | egrep -v '^\.+$' | egrep "MISSING|OPENFORWRITE" | grep -o "/[^ ]*" | sed -e "s/:$//" | xargs -i hadoop fs -rmr {};
2020-06-28 00:02:05
674
2
原创 CDH-5.16.2 Hue3界面异常修复
1）workflow 流程图中点击不能跳转的问题2）hue3的workflow编辑页，编辑打不开3）workflow action执行完后日志就看不到Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permiss...
2020-04-04 14:01:02
540
原创 通过http调用操作hue管理的oozie
前提关闭csrf验证编辑/opt/cloudera/parcels/CDH-5.8.3-1.cdh5.8.3.p0.2/lib/hue/desktop/core/src/desktop/settings.py注释掉MIDDLEWARE_CLASSES中的django.middleware.csrf.CsrfViewMiddleware=========package com.xxx.yy...
2020-03-30 00:58:34
265
原创 一行命令压缩一个目录下的多个子目录成独立的zip包
一行命令,压缩一个目录下的多个子目录,成独立的zip包.ls |awk '{print "zip -r -4 "$0".zip "$0}' | bash > /dev/null
2020-02-17 18:57:14
834
原创 mysql innodb大数据量快速复制（迁移）方法
数据量170G,常规方法mysqldump等方法，耗时不可接受。1、逐库导出结构，执行到目标库。2、下线表空间alter table `tableA` discard tablespace;3、复制源库该对应表的表空间文件*.ibd替换目标库文件（这里是按表的，估计共享空间的道理也是一样）权限要修改成和原来一样。【整体速度90%由这项决定】4、上线表...
2020-01-05 23:32:47
2519
原创 CDH集群的搭建及简单使用
CDH集群的搭建及简单使用一、CM集群部署1、确认防火墙问题及端口权限并关闭SELinux服务.2、搭建yum源 开启httpd服务：service httpd start 建立CM RPM包和parcels源的目录： mkdir -p /var/www/html/cm5/redhat/6/x86_64mkdir -p /var/www/html/c...
2019-12-18 22:54:17
1492
原创 ES7.4集群安全模式
1、建立ES集群操作系统配置 -> 基本配置 -> 集群配置2、在任何一个节点创建一个ca，记住ca密码bin/elasticsearch-certutil ca3、拿ca文件到个节点创建基于ca的该主机的凭证，需要ca密码，并设置凭证密码bin/elasticsearch-certutil cert --ca elastic-stack-ca....
2019-12-13 00:04:53
796
原创 CDH加节点，相关操作
CDH加节点1、cm免密码安装vi /etc/ssh/sshd_configPermitRootLogin yes #增加这一行vi /etc/sudoershadoop ALL=(root)NOPASSWD:ALL2、主机名vi /etc/sysconfig/networkhostname hostname0013、设置到所有相关节...
2019-11-12 22:37:50
321
原创 hdfs openforwrite recoverLease
hdfs fsck /xx/origin_table_files/ods_event/pt_date=20191016 -openforwrite | grep -v ".tmp"cat 3.txt | sed 's/OPENFORWRITE:/\n/g'| grep -o "pt_date=.* bytes" | sed 's/: MISSING/\n/g' | sed 's/.\+...
2019-11-12 22:35:51
703
原创 cdh hue sqoop export 空值null处理
一、执行SQL查到HDFS临时文件INSERT OVERWRITE DIRECTORY '${TMP_PATH}' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' NULL DEFINED AS "\\N" ${HQL};二、删除目标库重复数据三、导出四、删除HDFS临时文件注意点：查出时的 NULL...
2018-12-05 17:45:33
4306
原创 hue oozie rerun使用问题记录
CDH oozie4.10正确使用方法:1、oozie配置oozieoozie.service.LiteWorkflowStoreService.user.retry.error.code.ext=ALL直接指定为ALL单独E0080这样的事件并没有效.2、在hue的工作流中设置重试次数。（CDH5.8中default是没效果的，一定要自己指定）以上问题也可能是我具体的版本才会有。...
2018-06-08 19:40:45
1042
原创 Hive集成Hbase
集成过程及遇到的问题1.开始用ambari hive集成遇到问题，尝试用独立的hive1.2.1，但因为版本太低，异常如下，考虑继续使用ambari hive：hive> select * from lxw1234;OKException in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.hbase.client....
2018-06-08 18:12:16
422
原创 hue oozie报错ELException: variable [wf] cannot be resolved问题
1、流程2、报错3、解决思路查源码，看变量初始化时机，以及为什么没有该变量。1）org.apache.oozie.util.ELEvaluator中有个private Map<String, Object> vars;变量，用于存放流程中的变量。2）vars变量赋值有setVariables & setVariable两个方法。3）赋值的地方有：org.apache.oozie...
2018-06-08 18:05:38
1225
原创 hive on spark异常
一、INFO : set mapreduce.job.reduces=<number>ERROR : Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)'org.apache.ha...
2018-03-16 11:21:47
10555
原创 kylin发生Segments overlap的解决办法
对http://blog.csdn.net/zhangzhaokun/article/details/78419846?locationnum=6&fps=1做补充。1、遇到kylin发生Segments overlap，但按上面的连接处理时发生hbase连接失败，kylin的org.apache.kylin.common.persistence.ResourceTool.copy( 方法...
2018-03-14 20:57:26
2967
原创 hue hbase输入key查询不到的问题
hue hbase输入key查询不到的问题如图，及时选择推荐的key查询也查询不到（并自动跳转到上次查询的key）。原因是：hue将上图输入的key用http get的方式发送到后台查询hbase的，其中有URI特殊字符“/”，导致提交的URL被改变。上图应该输入：%2Facl%2F00fc7768-f1bf-4927-a8b7-b3e09c416599需要转义“/”为“%2F”，其他见 URL特...
2018-03-14 20:44:06
910
原创 cloudear manager hue & oozie的timezone修复方式
- In order to find the timezone that is on your machine (linux) and set the same to Hue:cat /etc/sysconfig/clock - In order to find the available timezones: ls /usr/share/zoneinfo ==> give
2017-12-21 14:24:32
408
原创 升级到ambari2.4后AMBARI_METRICS自动停止问题及部分机器不显示Metrics问题
一、升级到ambari2.4后AMBARI_METRICS自动停止问题原因：连接不到hbase 解决方法：1、Metrics配置，用distributed模式；2、检查zookeeper.znode.parent是否与其他hbase根节点重复；3、检查ams-hbase进程是否启动4、检查是否有phoenix，以及能否用phoenix操作ams-hbase;5、检查
2017-05-03 17:22:46
1770
原创 aws 查询空间大小
方法一、1.aws s3api list-objects --bucket BUCKETNAME --output json --query "[sum(Contents[].Size), length(Contents[])]"2.aws s3api --profile PROFILE_NAME list-objects --bucket BUCKET_NAME --output jso
2017-03-30 16:03:16
3794
原创 kafka_0.10.0.2.5 shell 工具执行时端口冲突的解决方法
./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 2 --topic testTopicError: Exception thrown by the agent : java.rmi.server.ExportException: Port already i
2017-03-30 15:51:27
4393
1
原创 hive操作s3数据
1、hive配置s3访问权限2、创建表：例如CREATE EXTERNAL TABLE table( CREATE_TIME BIGINT COMMENT '获取时的时间', EVENT_NAME STRING COMMENT '事件名', TIMESTAMP_ BIGINT COMMENT '事件发生时间', IS_TEST S
2017-03-29 18:47:51
6009
原创 sql两个日期间剔除周末的间隔时间
(TRUNC(EndTime) - TRUNC(StartTime) ) + (CASE WHEN TO_CHAR(StartTime,'DY','nls_date_language=english') in ('SUN','SAT') THEN 1 ELSE 0 END) - ((((TRUNC(EndTime,'D'))-(TRUNC(StartTime,'D')))/7)*2 )
2017-03-02 14:22:04
1331
原创 hbase regionserver的region到300以上老是挂啊，怎么整
Hua(•ิ 13:11:54hbase regionserver的region到300以上老是挂啊，怎么整aperise 13:27:28首先加内存 然后调整hbase.regionserver.global.memstore.size(默认HEAP_SIZE*0.4)=1.6G和Hbase.regionserver.global.memstore.lowerLimi
2017-02-17 14:36:45
2803
原创 kafka.storage为kafka时如修改设置用户组的offset
因为offset信息存储在kafka的一个名为__consumer_offsets的topic中，没办法像zookeeper那样直接修改。经过尝试用kafka-python，失败，正常执行完offset没变，也不是zookeeper存储模式。下面是最后用的方法：import java.util.Arrays;import java.util.Properties;impo
2016-12-19 20:04:07
3653
2
原创 linux vi 中替换不可见字符^@\^A\^M等
如替换^@ 用:%s/\%x00/ /g资料http://unix.stackexchange.com/questions/217010/search-and-replace-control-characters-m-i-in-vihttp://bbs.csdn.net/topics/350032198http://www.bubuko.com/infodet
2016-11-26 15:51:24
14220
转载 PowerDesigner创建表时如何根据输入的Name根据首字母自动生成Code的方法
介绍PowerDesigner创建表时如何根据输入的Name根据首字母自动生成Code的方法，这也是在实际应用中最常用的。根据默认设置，Code内容与Name一致，假如输入中文Name名称，Code自动生成的也是中文的，这不是我们想要的，往往我们以中文首字母作为Code。主菜单Tools->Model Options-> Naming Convention项(设置该项,会影响所有的子节
2016-11-23 18:20:26
615
原创 Hue 3.11.0中Hive查询集成的Hbase表时报错，求解
Hue 3.11.0中Hive查询集成的Hbase表时报错，求解Bad status for request TFetchResultsReq(fetchType=0, operationHandle=TOperationHandle(hasResultSet=True, modifiedRowCount=None, operationType=0, operationId=THa
2016-11-12 10:17:54
4130
4
原创 Ambari生成的hive配置文件位置
在/etc/hive/2.3.0.0-2557/0/conf.server/hive-site.xml位置http://osdir.com/ml/general/2015-06/msg07465.htmlambari should update the hive-site.xml .Does restarting the hive service help
2016-11-03 12:01:06
3431
原创 古龙小说相似度计算
package text.similar;import java.io.File;import java.util.ArrayList;import java.util.HashMap;import java.util.Iterator;import java.util.Map;public class Test1 { public static void main(Strin
2016-09-14 14:58:20
2181
原创 java 加解密
import java.nio.charset.Charset;public class DeEnCode { private static final String key0 = "FECOI()*&<MNCXZPKL"; private static final Charset charset = Charset.forName("UTF-8"); private static
2016-07-14 09:48:42
528
原创 HiveServer2用户名密码验证
1.在hive-site.xml中加property> name>hive.server2.authenticationname> value>CUSTOMvalue>property>property> name>hive.server2.custom.authentication.classname> value>org.apache.hadoop.hive.co
2016-06-16 18:07:06
19830
2
原创 HIVE身份验证
三、HIVE身份验证1.开启Hive的身份认证功能，默认是false hive.security.authorization.enabled true Enable or disable the hive client authorization2.表创建者用于的权限配置项 hive.security.authorization.createtable.owne
2016-06-15 16:26:02
2787
tensorflow_gpu-1.14.0-cp37-cp37m-win_amd64.whl
2020-02-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人