- 博客(505)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 开启kerberos后hbase连接
开启kerberos之后，hbase连接就没有之前那么顺利。下面的异常说明没有创建hbase-test_data，在服务器上创建，并在ranger中赋予它hbase访问权限即可2021-01-26 19:03:38,899 INFO [pool-2-thread-3] thrift2.ThriftServer: Effective user: hbase-test_data2021-01-26 19:03:38,899 ERROR [pool-2-thread-3] server.TThreadPo
2021-01-30 08:35:55
441
原创 ambari开启kerberos
网上一些跟Ambari启用Kerberos，看似很简单，但实际按照这个配置，遇到的问题连解决方案都不好找。启用了kerberos，想要也没有那么简单，ambari关闭kerberos，大数据集群起都起不来，因为有些内容还得手工删除，真是骑虎难下。我之前开启了ranger，比较简单。后来想着kerberos也一样，于是也起来，结果发现安全模式下，会更改ambari的一些配置，导致一堆报错Remove ats-hbase before switching between clusters，出了问题找这篇文章，
2021-01-23 13:20:45
926
原创 ambari与knox
ambari server与knox不一定要安装在一台机器上，因为两个本来就可以是独立的可以参考Knox的安装与部署（五）1 在knox的机器上生成的cert.pem内容将被复制到ambari-server的机器上$JAVA_HOME/bin/keytool -export -alias gateway-identity -rfc -file /opt/key/cert.pem -keystore /usr/hdp/current/knox-server/data/security/keystore
2021-01-22 21:24:06
1399
1
原创 大数据平台ambari中防火墙端口设置
网上搜索链接基本都是ambari将服务器的防火墙关闭，这样最为简单。我也这么做了，却被其他人嘲笑，我本来也不是专业的运维，但是我看他们也经常这么做啊，或许他在网络安全方面做了足够好，但是如果服务器是在云上呢？那好吧，只得老老实实的开启防火墙，设置相关的端口。大数据平台ambari中是直接将防火墙关闭的，但因为我们的ambari中大数据环境已经在运行，直接开启端口，恐怕不行。于是先找个系统来演练一下，不能硬刚。1 爬虫演练先查看端口的使用情况，可以看到Local Address有几种类型，防火墙既然开
2021-01-16 16:24:27
1296
原创 atop和audit对服务器进行监控
出现这个问题-bash: [: : integer expression expected，没有找到真正原因是什么，因为从监控没看到来自外部的攻击，下面的脚本已经验证过，也发现什么异常，但实地问题就出现了.ls、cat、vi、ll等命令全都执行不了跟踪发现环境变量中文件被删掉了如果同一个目录都是空的，还可以理解，但是/usr/bin目录下并不是所有都是空的云厂商工程师，先将系统盘卸载掉，挂靠到没有问题的服务器上，进行跟进。到了新服务器上，这个磁盘就是数据盘了，里面很多东西就可以读写了。的确是个好
2021-01-16 12:29:01
766
原创 NB-IoT与Lora
我并不是搞物联网的，但是我们公司有物联网部门，一位工程师向我推荐lora协议，认为lora协议很好，可以应用在民生领域，比如物业，于是我很想了解一下它到底是什么，以便为物联网+大数据提供发展思路。但经过调查，发现并不是这样，因为我们公司选择的NB-IOT，再看看NB-IoT VS LoRa：一场胜负已定的斗争，发现别人告诉你的信息，可能是滞后的，因为lora是他们在2018年时候做的，公司选择NB-IoT并不是没有道理，再次说明没有调查，就没有发言权。1 loraLoRa无线技术介绍，lora是semt
2021-01-10 20:53:56
444
原创 thrift通讯协议
总结一下2017年的时候使用的技术1 java中的使用1.1 生成thrift文件thrift-generator下载一下源码，自己编译一下。pom.xml<dependency> <groupId>org.apache.thrift</groupId> <artifactId>libthrift</artifactId> <version>0.10.0&
2020-12-30 21:51:06
422
原创 大数据平台ambari
调研发现网易猛犸、金山云采用的军事ambari，甚至在易观直接把大数据平台中ambari的截图放到了官网上，足见它的影响力有多强。ambari长啥样子，可以参考使用Apache Ambari管理Hadoop集群而Ambari 2.7.3与HDP 3.1.0安装过程，虽然这篇文章讲的笔记好，但是实际环境可能更为复杂，系统盘有35G，而数据盘有29T空间，那么ambari以及其他依赖环境应该部署在/appdata中，为了防止错误，那么ambari的用户是否需要新建一个呢，如果安装在root用户下面，很容易犯
2020-12-26 17:14:08
1418
1
原创 大数据服务器磁盘空间的分区
之前总感觉是在实验室里面做大数据，搞个3台服务器，每台服务器2T磁盘空间，感觉很容易驾驭，这次真的买了8台8*3750GB的服务器感觉，却有点无从下手了，买回来的是裸服务器，磁盘需要自己挂载。rpm -qa |grep lvm2yum install lvm2fdisk -l | grep /dev/sdpvcreate /dev/sda /dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/sdf /dev/sdg /dev/sdhpvdisplayvgcrea
2020-12-25 23:39:21
1609
1
原创 kylin与hive视图
1 去掉hive表中无意的列create external table dim_jd_brand(rowkey string,brand_id string,brand_name string,category_id string, category_name string) stored by'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping" =
2020-12-02 19:25:05
1130
原创 调研规则引擎用于八字命理
熟悉命理书的朋友都知道，书上计划都是一些条文组成的断语，从下表可以看到，命理大师们习惯描述什么条件，会出现什么样的情况，这样看起来是不是很像规则引擎的职能呢？于是我就想调研一下java相关的规则引擎，是否满足命理的灵活多变的需要。或许比搞些设计模式，纯手工编码要好维护得多吧.先不着急自己搭建环境，先了解有哪些，他们是什么，他们能干什么，在哪些领域有所应用。1 droolDrools中文网，DROOLS（JBOSS RULES ）具有一个易于访问企业策略、易于调整以及易于管理的开源业务规则引擎，符合业
2020-11-28 12:28:32
770
原创 gitlab集成k8s的问题
下方是k8s中的日志status: conditions: - lastTransitionTime: '2020-07-16T04:10:58Z' message: >- failing or missing response from https://10.101.30.104:4443/apis/metrics.k8s.io/v1beta1: Get https://10.101.30.104:4443/apis/metr
2020-10-12 11:49:47
1745
原创 mqtt
1 Mosquittotar zxvf mosquitto-1.6.9.tar.gzcd mosquitto-1.6.9make && make installadduser mosquittocp pwfile.example pwfilecp /etc/mosquitto/mosquitto.conf.example /etc/mosquitto/mosquitto.conf# mosquitto.conf添加内容如下allow_anonymous truepasswo
2020-09-24 14:33:15
219
原创 旺衰与分类算法
触类旁通不是一件容易的事情，很多例子都是两个指标来确定分类，因为这样可以通过二维图有个清晰的认知。这里拿八字命理中最有争议的强弱论，试试用机器学习算法看看效果如何，因为我也可以才接触算法不久，故也对算法进行说明。这里不搞什么加权，因为你怎么加权，总有争议。只按照八字中天干以及支藏天干，对日主的生助克泄耗做分析。而利用机器学习中的算法，就相对客观了多。这里1：生、2：助、3：克、4：泄、5：耗数据生成参考八字生助克泄耗数据生成1 决策树计算得到交叉熵均值和模型准确率评分，通过调参得到效果如下表所示，
2020-07-13 13:55:48
349
原创 八字生助克泄耗数据生成
八字命理旺衰是个基本问题，但也是最有争议的问题，这里的旺衰值是从各命书中搜索出来的，整理比较费劲，就不公开了，但是其他的数据生成，可参考下面的代码#!/usr/bin/python3# -*- coding:UTF-8 -*'''@auther:dzm@date:2020-07-10 11:34@description:'''import csvimport pandas as pdfrom utils.db_config import engine_dbdef get_data(e
2020-07-13 12:16:23
527
1
原创 spring工程dubbo docker迁移
使用当当的dubbox，也就是dubbo2.8.4版本时，我们的配置可以这样加载，一方面可以批量加载spring的配置，另一方面可以动态加载dubbo的消费端配置<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLo
2020-07-07 13:45:15
338
1
原创 k8s容器内部应用向eruaka注册ip问题
springboot项目部署到k8s中，发现eruaka注册是容器id，这个其他应用是无法访问的参考Spring Cloud配置ip注册找不到${spring.cloud.client.ipAddress},现在pom.xml中添加：<dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-commo
2020-07-03 09:39:41
2767
原创 springboot工程dubbo使用nacos作为配置中心
1 兼容dubbo配置xml的方式进展并不顺利，因为当dubbo的配置放在bootstrap.yml中是没有问题的，但是放在nacos中读取，则会提示消费的异常，这里调试ReferenceConfig发现总有一个<dubbo:registry />的配置，因为他没有指定zookeeper的注册地址，所以dubbo默认采用9090，于是就找不着了。但为何在bootstrap.yml中却没有这个异常呢?跟踪到AbstractInterfaceConfig中loadRegistries方法，执行
2020-07-02 16:49:37
5314
4
原创 k8s中dubbo注册IP和消费的问题
在系统迁移过程要考虑到平稳过度，先将部分应用迁移到k8s上，但是发现并没有那么简单从dubbo-admin中可以看到注册服务的ip是容器组ip，如果所有应用都在k8s中自然是没有问题，但如果k8s与虚拟机中的服务相互调用，就存在问题了，因为找不到ip。参考Docker 容器内运行 Dubbo 服务，启动容器,但是dubbo中还是容器的IP，并不是主机ipdocker run --name ab99755feae7 -d -p 9010:9010 -p 21716:21716 -e Dubbo_IP
2020-06-28 10:49:27
5640
3
原创 带二级页面星尘算命网的爬虫
爬虫的代码比较简单，因为没有什么反爬,我比较喜欢用PyQuery，使用起来像jquery一样方便#!/usr/bin/python3# -*- coding: utf-8 -*-import scrapyfrom pyquery import PyQuery as pqimport refrom life_example.items import LifeExampleItemclass S128Spider(scrapy.Spider): name = "s128" sta
2020-06-23 10:02:19
397
原创 安装kubeoperator
KubeOperator 2.6 官方文档,1 centos设置swap这个跟kubeoperator安装没关系，仅作记录cd /usrmkdir swapcd swap# 创建3G的文件dd if=/dev/zero of=swapfile bs=1G count=3mkswap /usr/swap/swapfilevi /etc/fstab/usr/swap/swapfile swap swap defaults 0
2020-06-12 15:32:12
813
原创 nacos替代config-server和Euraka
按照Nacos Spring Cloud 快速开始、Nacos Spring Boot 快速开始，将我之前项目依赖的config-server和Euraka替换过来，过程并不是那么顺利提示找不到配置org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'scopedTarget.druidConfig': Injection of autowired dependencies fail
2020-06-03 10:38:43
1408
原创 docker与k8s部署nacos
1 mariadb安装参考ocker安装MariaDBdocker pull mariadbsudo mkdir -p /data/mariadb/data# 设置容器的3307端口映射到主机3306端口docker run --name mariadb -p 3307:3306 -e MYSQL_ROOT_PASSWORD=000000 -v /data/mariadb/data:/var/lib/mysql -d mariadb# 7481d6bdd2de为mariadb的容器id,如下图所
2020-06-02 10:34:56
5109
原创 opencv预处理图像
1 改变图像大小标题看起来了简单，但是改变图像大小却对小目标的检测有利。cv2中CV_INTER_NN、CV_INTER_LINEAR 、CV_INTER_AREA、CV_INTER_CUBIC到底什么条件用什么呢？查看opencv文档INTER_AREA - resampling using pixel area relation. It may be a preferred method ...
2020-01-17 16:44:41
839
原创 fabric工程化
一个小时带你用 Hyperledger Fabric开发一个Demo，看这篇文章写一个fabric的demo应该很快，但是将fabric工程化考虑的因素就比较多了。看一下他的demo源码进入到startFabric.sh，不禁要问，如果有6个组织，那么这个脚本岂不是要写6个，再增加组织怎么办呢？实际工程化，就不是demo那么简单了。#install chaincode on peer0doc...
2020-01-10 15:52:25
274
原创 HyperLedger Fabric成员管理
1 成员管理Hyperledger Fabric架构详解，这篇文章有很多图，直觉告诉我，应为fabric区别与公有链在于交易的隐私性，那么成员安全管理，也就成了核心问题了，只要搞清楚了fabric各个参与方在每个环节中的角色，就知道怎么玩转fabric了。1.1 证书生成蜗牛讲-fabric原理之证书生成，虽然告诉我们怎么生成证书，但是思考org到底在业务上是什么才是重点。执行crypto...
2020-01-08 14:26:18
723
原创 HyperLedger Fabric基础笔记
没办法，公司要搞区块链，又把他捡起了，忘了好久了。1 基本算法1.1 PBFT拜占庭容错算法（Practical Byzantine Fault Tolerance），拜占庭共识算法这篇的推理最为简单，假设R为安全节点，E为不安全节点，投票数为PE=0,P<R,都可以得到结果E=0,P<R,都可以得到结果E=0,P<R,都可以得到结果R/2同意，R/2反对,P>...
2019-12-27 15:49:55
617
原创 TensorFlow学习笔记
5 问题集5.1 RuntimeError: Error copying tensor to deviceRuntimeError: Error copying tensor to device: /job:localhost/replica:0/task:0/device:GPU:0. /job:localhost/replica:0/task:0/device:GPU:0 unknown...
2019-11-21 13:19:16
7719
1
原创 opencv处理图像笔记
示例参考[OpenCV-Python] OpenCV 核心操作 部分 III1 roi提取感兴趣区域，``import cv2import numpy as npfrom matplotlib import pyplot as plt# cv2读入的是BGR格式img = cv2.imread('test.jpg')# 注意H*W，第一个参数为高度,y方向的阈值，第二个参数为宽度，...
2019-11-12 15:22:19
284
原创 python 数据预处理1
通过Tushare或者Tushare pro获取股票清单，但是有3707家企业，怎么挑选股票，我自己瞎琢磨。1 根据各板块选择龙头股票mysql分组排序取最大、最小、最新、前N条记录select st1.code,st1.name,sb1.industry,st1.mktcap,sb1.market,st1.trade,st1.per,st1.pbfrom stock_today st1...
2019-11-08 14:43:30
278
原创 ORC CRNN
【OCR技术系列之一】字符识别技术总览,从前辈的文章我看到，印刷过程中字体很可能变得断裂或者墨水粘连，那么通过什么样的技术解决此问题呢？OCR技术系列之二】文字定位与切割，现在的技术还需要将每一个字符从图片中切割下来吗？采用end-to-end的方式，就不用那么麻烦了。AI学习笔记——End-to-End(端到端)的深度学习，正因为end-to-end不需要，所以他需要大量的训练样本。2 图...
2019-11-04 13:52:12
355
原创 pytorch RCNN笔记
深度学习的演进并不是跳跃性的，都是不断优化，所以学习新的模式中总需要回头看看到底为什么会产生。1 SPP 空间金字塔池化SPP(Spatial Pyramid Pooling)详解,不同尺寸的图像尺寸如何输出相同大小的图像呢，裁剪或拉伸，原始图像就会扭曲，因为图像的纵横比改变了。SPP正式为解决此问题。SPP空间金字塔池化（Spatial Pyramid Pooling）...
2019-11-01 16:58:38
602
原创 pytorch Vgg16笔记
原本想直接跳过VGG，直接到PSEnet，但面试遇到很多使用VGG16的，于是静下心看看VGG网络到底是什么样的。1 卷积核又叫滤波器filter，在pytorch 卷积神经网络笔记，我已经写出了卷积计算的公式，但是卷积核的大小是多少呢？先看看卷积神经网络VGG16这么简单，为什么没人能说清？ ，这里说卷积核一般用3*3.可是为什么呢？为什么倾向于使用3*3 小卷积核堆叠代替大卷积核像素八...
2019-10-31 11:04:51
2451
原创 pytorch FPN框架
FPN全解-最全最详细，我接触目标检测，直接就到FPN了，所以不了解历史。就人的第一反映，可以想象，的确早期的目标检测算法是基于顶层的特征信息，因为顶层的特征语义丰富，但是位置发而粗糙，因为它不一定是最佳边界。而底层的特征语义少，但位置信息反而精确了。我们一开始接触就知道应该用全量特征分析，故此FPN更符合机器学习的逻辑。1.1 上采样图像的上采样（upsampling）与下采样（subsam...
2019-10-30 16:49:53
1912
1
原创 Rsenet残差网络笔记
1 NVIDIA驱动我的操作系统是18.04，NVIDIA官网按照Ubuntu安装Nvidia驱动，我从官方网站中下载安装包，但执行./NVIDIA-Linux-x86_64-430.50.run --no-opengl-file,提示异常信息./nvidia-installer: unrecognized option: "--no-opengl-file"ERROR: Invalid c...
2019-10-29 13:54:52
1249
原创 pytorch 卷积神经网络笔记
pytorch 神经网络基本笔记中描述了神经网络中计算逻辑是什么，下面的例子来自官方，可以运行在cpu上。今天开始了解卷积神经网络是什么。# 1. 将数据加载到numpy数组里，然后将数组专程torch.*Tensor# 1.1 对于图片，有Pillow，OpenCV等包可以使用# 1.2 对于音频,有scipy和librosa等包可以使用# 1.3 对于文本，不管是原生的python还是...
2019-10-25 14:28:03
831
原创 pytorch 神经网络基本笔记
我从今天开始学pytorch，照着训练分类器官方用例来写。1 数学知识1.1 交叉熵损失1.1.1 log2(x)从下图可以看到x在0～1之间，x越小，那么y值越大import numpy as npimport mathimport matplotlib.pyplot as plt# axisartist包就用来设置坐标轴的类型import mpl_toolkits.axis...
2019-10-24 16:40:00
476
原创 python结合线性代数解决小学奥数问题
因为我的记忆力不好，还得辅导儿子的小学奥数，面对好多“脚”的问题，学了线性代数后根本就不用动脑筋，“两个动物”的通过克拉默法则一下就出来，“三个动物”以上的通过高斯变换就计算出来，都不用思考，于是对线性代数使用python的技术进行总结归纳，为了好玩，也会熟练掌握numpy，以便在神经网络中找到线性代数的身影1 nump中矩阵运算1.1 array和matrixarray的乘法，与矩阵的乘法...
2019-10-22 13:31:36
331
原创 hbase跨机房同步
两边hbase版本均是1.1.4，通过vpn实现两个hbase集群之间的数据同步hbase通过命令看数据，太繁琐，可以hbaseclient参考 HBase备份还原OpenTSDB数据之Snapshot1 创建快照hbase shellsnapshot 'your_table_snapshot',’your_table'2 在另一个集群中快照中恢复数据执行命令可以查看快照清单[r...
2019-09-26 11:48:38
985
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人