- 博客(24)
- 收藏
- 关注
RSS订阅
原创 centos8快速安装docker环境
安装依赖yum -y install yum-utils获取yum源使用阿里云的，下载速度快yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo正式安装直接用yum install docker-ce的话会提示Error:Problem: package docker-ce-3:19.03.12-3.el7.x86_64 requires contain
2020-07-17 16:49:35
547
原创 离线CDH集群搭建
写最前面本文采用CM，CDH开源版部署，以1主2从共计3台主机进行安装示例。一、准备工作：系统环境搭建以下操作均用root用户操作。1.1 网络配置(所有节点)vi /etc/sysconfig/network修改hostname：NETWORKING=yesHOSTNAME=n1通过service network restart重启网络服务生效。vi /etc/hosts,修改ip与主机名的对应关系xxx.xxx.xxx.xxx n1xxx.xxx.xxx.xxx n2
2020-06-10 10:31:53
276
原创 利用log42框架自定义日志过滤
任务背景：车联网业务TSP网关打印的日志接入es数据量过大，每小时基本有上亿条日志，快扛不住了。本着降本增效的原则，需要实现tbox白名单日志打印功能。框架选择logbacklog4j2日志框架的选择网上已经有很多文章，我是参考了如下几篇文章，加上程序中原有框架也是log4j2，所以想着继续延用并在其基础上优化吧。纠结哇！日志框架选型，Logback 还是 Log4j2？ 转载Logback与Log4j2日志框架性能对比与调优Logback 对比 Log4j2功能设计程序启动
2023-04-28 12:26:49
1709
1
转载 docker搭建kafka（转）
转自（https://www.jianshu.com/p/cec64efdf1e0）第一步 搭建zookeeper环境在centos中，拉取zookeeper镜像，以及创建zookeeper容器:docker pull zookeeperdocker run -d -p 2181:2181 -v /mysoft/zookeeper/data/:/data/ --name=zookeeper --privileged zookeeper注：此文采用的单例，而非集群，如需集群 读者请自行创建.第
2021-06-21 10:56:37
377
原创 flyway使用实践
项目背景1、spring cloud，maven多模块项目，使用mysql数据库需求1、想实现数据库版本控制，特别是首次上线时候可以自动初始化数据库具体操作1、添加依赖在pom文件中引入flyway-core依赖，版本根据自己需要定义，我这里是直接拿的父pom中的。<dependency> <groupId>org.flywaydb</groupId> <artifactId>flyway-core</artifactId>
2021-04-27 17:14:47
705
转载 SpringBoot配置devtools实现热部署(转)
转自[link]（https://www.cnblogs.com/lspz/p/6832358.html）spring为开发者提供了一个名为spring-boot-devtools的模块来使Spring Boot应用支持热部署，提高开发者的开发效率，无需手动重启Spring Boot应用。devtools的原理深层原理是使用了两个ClassLoader，一个Classloader加载那些不会改变的类（第三方Jar包），另一个ClassLoader加载会更改的类，称为restart ClassLoade
2021-04-23 10:37:49
164
原创 superset图表分享需要登录的问题
问题说明superset中的chart和dashboard都可以提供短url在html页面进行直接访问，也可以在iframe中进行引用展示。问题出现在当使用上述两种方式时页面会跳转至登录页面，提示你权限不够。查了网上各种博客，官档，issue等等，说的都不是很明确，很多都是无效的答案，花了一上午终于解决了，必须记录下来。解决思路1、权限不够就需要赋予权限，找到需要赋权的对象通过查看源代码可以发现这些访问都是通过public角色的；2、角色权限Admin：拥有所有权限；Alpha：能访问所有
2020-10-13 14:52:26
2420
1
原创 几个实用的linux查看工具
写在前面下载需要epel源，yum install epel-release主机状态监测yum install ncdu #磁盘大小查看yum install htop atop #内存，CPUyum install iotop #磁盘使用IOyum install iftop #网络端口yum install lsof #端口查看lsof -i:8080...
2020-07-10 09:39:21
476
原创 centos启动模式切换
两种启动模式multi-user.target: analogous to runlevel 3 #命令行模式graphical.target: analogous to runlevel 5 #图形模式查看机器的启动模式systemctl get-default #获取当前模式启动模式切换以命令方式启动systemctl set-default multi-user.target以图形方式启动systemctl set-default graphical.targe
2020-07-07 14:36:47
357
原创 Linux用户/组常用命令
记一下经常使用到的用户和组相关的命令，1、新增用户adduser caiyh #新增用户caiyh2、新增工作组groupadd test //新增工作组test3、新增用户并指定工作组useradd -g test caiyh #新增用户caiyh并增加到test工作组#-g 所属组 -d 指定账户主目录 -s 所用的SHELL4、改变用户的组gpasswd -d caiyh other #从组中删除用户gpasswd -a caiyh test #加入5、
2020-07-03 11:45:30
3415
原创 （五）机器学习模型的api调用之模型执行
本篇讲讲模型执行相关操作，以逻辑回归评分卡为示例。根据已有模型，调用执行接口：http://ip:port//model/executepost{“modelFilePath”:"/data/model/lr.pkl",“paramsData”:{#这里是模型特征}}后台代码如下：import numpy as npimport pandas as pdimport scorecardpy as sc#缓存变量modelPath,binsPath='',''bins,mod
2020-06-29 10:19:58
1314
原创 （四）机器学习模型的api调用之特征查询
根据模型查询特征接口：http://ip:port//model/featurespost{“modelFilePath”:"/data/model/lr.pkl"}后台代码实现：from flask import request#模型文件路径校验def modelFilePathCheck(request): if keyIsExist(request,'modelFilePath'): modelFilePath = request['modelFilePa
2020-06-28 19:05:25
544
原创 （三）机器学习模型的api调用之异常控制
在上一篇日志打印的基础上，本篇引入异常控制，并通过json格式输出。#引入jsonify模块from flask import jsonify#异常定义code10001 = {'code':'10001','errorType':'KeyError','errorMsg':'输入特征错误:'}code10002 = {'code':'10002','errorType':'ValueError','errorMsg':'输入值错误：'}code10003 = {'code':'10003',
2020-06-28 17:55:58
404
原创 （二）机器学习模型的api调用之日志打印
日志打印是程序中很重要的一部分，本篇讲讲日志的输出设置。首先引入logging模块import loggingimport logging.handlers然后是打印设置#日志打印设置logger = logging.getLogger()formatter = logging.Formatter('%(asctime)s - %(message)s')file_handler = logging.handlers.TimedRotatingFileHandler('（这里给定日志输出的文
2020-06-28 15:46:52
495
原创 （一）机器学习模型的api调用之初探
写在前面在最近的风控评分卡业务中使用到了机器学习来构建模型，构建模型的方法会找时间单开一篇文章。这里主要讲下如何实现根据已经构建好的模型提供api接口服务。这里是正文Flask是微型的Python Web框架，如果模型本身就是用python语言构建的，那么利用FLask提供Api服务是一个不错的选择。基础代码结构如下：from flask import Flaskimport joblibapp = Flask(__name__)@app.route("/getModel")def g
2020-06-24 10:50:21
1048
原创 rpm/yum安装MySql并初始化配置
卸载自带的数据库使用命令：rpm -qa|grep -i mysql 查询MySQL的包使用命令：rpm -e --nodeps+包名，将查到的MySQL的包全部删除删除老版本mysql文件和库rm -fr /usr/lib/mysqlrm -fr /usr/include/mysql注意：卸载后/var/lib/mysql中的数据及/etc/my.cnf不会删除，如果确定没用后就手工删除rm -f /etc/my.cnfrm -fr /var/lib/mysql1)使用rpm.
2020-06-10 09:18:00
1415
原创 算法复杂度和时间复杂度
算法复杂度有如下复杂度关系c < log2N < n < n * Log2N < n^2 < n^3 < 2^n < 3^n < n!其中c是一个常量，如果一个算法的复杂度为c 、 log2N 、n 、 n*log2N ,那么这个算法时间效率比较高 ，如果是 2^n , 3^n ,n!，那么稍微大一些的n就会令这个算法不能动了，居于中间的几个则差强人意。时间复杂度常见的算法时间复杂度由小到大依次为：Ο(1)＜Ο(log2n)＜Ο(n)＜Ο(nlo
2020-06-08 15:47:10
504
原创 安装yum程序
1. 查看、卸载已安装的yum包查看已安装的yum包rpm -qa|grep yum卸载软件包rpm -e --nodeps yum*2. 下载rpm安装文件wget https://mirrors.aliyun.com/centos/7/os/x86_64/Packages/yum-3.4.3-167.el7.centos.noarch.rpm wget https://mirrors.aliyun.com/centos/7/os/x86_64/Packages/yum-metadata-p
2020-06-08 13:51:36
304
原创 linux服务器ssh免密步骤
1.生成无密码的密钥对在主节点上执行如下命令，然后一路回车ssh-keygen -t rsa2. 公钥添加将主节点公钥添加到认证文件中，cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys并设置authorized_keys的访问权限，chmod 600 ~/.ssh/authorized_keys。4. scp文件到所有datenode节点：scp ~/.ssh/authorized_keys root@slave:~/.ssh
2020-06-08 10:13:55
229
原创 linux完全删除Cloudera Manager及其管理软件的数据文件
Cloudera Manager数据/usr/share/cmf /var/lib/cloudera* /var/cache/yum/cloudera* /var/log/cloudera* /var/run/cloudera*数据库存放路径/var/lib/cloudera-scm-server-dbCM Lock 文件/tmp/.scm_prepare_node.lock用户数据/var/lib/flume-ng /var/lib/hadoop* /var/lib/hue
2020-06-05 18:28:22
578
原创 Linux更换阿里yum源只需3条命令
1. 备份mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup2. 下载新的CentOS-Base.repo 到/etc/yum.repos.d/CentOS 5wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-5.repoCentOS 6wget -O /etc/yum.r
2020-06-05 18:01:18
332
原创 pip更换国内源，一劳永逸
国内源:清华：https://pypi.tuna.tsinghua.edu.cn/simple阿里云：https://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/华中理工大学：https://pypi.hustunique.com/山东理工大学：https://pypi.sdutlinux.org/豆瓣：https://pypi.douban.com/simple/临时使用可以
2020-06-05 17:52:36
7912
原创 npm升级、换源
查看版本node -v npm -vnpm更新更新到最新版本：npm install -g npm更新到指定版本：npm install -g npm@4.2.0node更新linux清除node.js的cache(不确定有没有必要)npm cache clean -f安装工具n ，这个工具是专门用来管理node.js版本的安装命令npm install -g n出现这样错误信息，在命令后面加上 –force 重新运行npm ERR! notsup Un
2020-06-03 19:28:50
2937
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人