cxy1991xm-CSDN博客

原创 python去除不可见字符

一、a=u'3082986\u202c' ，执行 print(a)输出3082986‬，不会输出‘\u202c’，若要输出不可见字符，则执行 print(repr(a))二、去除不可见字符python 2 : a.strip(u'\u202c')python 3 : a.strip('\u202c')

2020-07-14 11:32:04 3073

1、安装gcc套装：yum install cppyum install binutilsyum install glibcyum install glibc-kernheadersyum install glibc-commonyum install glibc-develyum install gccyum install make2、升级gccyum -y install centos-release-sclyum -y install devtoolset-9-gcc d

2020-06-28 19:41:28 342

原创 python 3 安装

1、安装相关依赖库，若已安装，可忽略，若依赖库版本低，需要更新，如yum update opensslyum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel libffi-devel gcc make2、解压，进入安装目录，修改 Modules/Setup文件如下3、./configure4、make & make install...

2020-06-28 19:07:11 394

原创 hive元数据信息表

一、hive表与视图相关的元数据表有TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联。每张表只有一个TBL_ID和CD_ID1、TBLS该表中存储Hive表、视图、索引表的基本信息。元数据表字段说明示例数据 TBL_ID 表ID 1 CREATE_TIME 创建时间 1436

2020-06-09 19:47:26 1091

原创 windows驱动环境搭建vs2017+wdk

一、安装visual studio 2017，如下图所示，勾选 “使用C++的桌面开发”，在右边勾选需要的Windows 10 SDK版本，可以选择安装多个SDK版本，但要确保SDK版本与WDK版本一致，若不确定需要安装哪个SDK版本，可以先不安装二、安装SDK，若第1步已经确定SDK版本，此步骤可以跳过从微软官网下载对应SDK版本：https://developer.microsoft.com/zh-cn/windows/downloads/sdk-archive/注意：通过此方.

2020-06-07 21:34:00 2233

原创 apache日志分隔

在httpd.conf中，找到CustomLog 和ErrorLog，替换为如下1、一天滚动一次CustomLog "|/usr/local/apache2/bin/rotatelogs /usr/local/apache2/logs/access_%Y%m%d.log 86400" combined2、一周滚动一次ErrorLog "|/usr/local/apache2/bin/rotatelogs /usr/local/apache2/logs/error_%Y%m%d.log 604

2020-06-05 14:33:27 125

原创 linux获取本地ip

function query_eth_name() { ip route get 10.0.0.0 | head -n 1 | awk '{ \ for (i = 1; i < NF; ++i) { \ if ($i == "dev") { \ print $(i + 1); \ break; \ } \ } \ }'}function .

2020-05-30 10:22:02 247

原创 docker常见错误

1、docker启动报错：docker Error starting daemon: Error initializing network controller: list bridge addresses failed: no available network原因：没有 docker0 的桥接网络解决：添加一个桥接网络，执行以下命令ip link add name docker0 type bridgeip addr add dev docker0 172.17.0.1/16...

2020-05-27 11:31:24 689

原创 HDFS删除并清空回收站

删除文件不放入回收站：　　hdfs dfs -rm -f-skipTrash/xxx清空回收站：　　hdfs dfs-expunge (执行完之后会打一个checkpoint，并不会立即执行，稍后会执行清空回收站操作)

2020-05-27 10:14:21 654

原创 nginx配置支持https

一、确认nginx是否已经安装ssl模块执行nginx -V ，若出现 --with-http_ssl_module则表示已经安装，否则表示没有安装二、安装ssl模块，若已安装，跳过此步骤进行nginx安装目录，执行./configure --prefix=/usr/local/nginx --with-http_ssl_modulemake将安装目录下的 objs/nginx 拷贝到 /usr/local/nginx/sbin下，默认安装时nginx的目录是/usr/local/ngin..

2020-05-14 18:23:20 373

原创 nginx安装步骤

一、安装依赖包yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel二、下载安装包http://nginx.org/en/download.html三、安装tar -zxf nginx-1.18.0.tar.gz进入目录，执行命令./configure #默认配置make #编译make install #移动编译后文件，默认是在/usr/local/nginx四、启动ln -s /...

2020-05-14 18:19:17 122

原创 sed用法

1、在匹配的内容前追加，123是匹配的内容，hello是追加的内容sed -e '/123/ i\hello' a.txt2、在匹配的内容后追加，123是匹配的内容，hello是追加的内容sed -e '/123/ a\hello' a.txt3、替换匹配的内容，123是匹配的内容，hello是替换后的内容sed -e '/123/ c\hello' a.txt...

2020-05-07 20:07:46 131

原创 windows c++窗口应用程序静默运行

一、静默运行1、在代码中加上以下代码，在cmd命令窗口执行xxx.exe时，会静默执行#pragma comment(linker, "/SUBSYSTEM:WINDOWS")#pragma comment(linker, "/ENTRY:mainCRTStartup")2、启动脚本start.bat::不回显@echo off::查看进程是否已启动tasklist |...

2020-04-10 14:35:05 2209

原创 c++ windows下监控目录变化

main.cpp#include <stdio.h>#include "IPcdnSdk.h"#include "common/Utils.h"#include <random>#include <stdlib.h>#include <iostream>#include <sstream>#include <io...

2020-04-09 21:32:51 807

原创 python 将中文写入mysql

设置mysql中的charset是UTF-8的，然后在python代码文件中设置#coding=utf-8。python从mysql获取数据时，会将数据转成unicode码# -*- coding: utf-8 -*-import sysimport MySQLdbimport jsonreload(sys)sys.setdefaultencoding("utf-8")db=...

2020-03-18 14:40:14 663

原创 yarn label scheduler

1、在yarn-site.xml中添加以下属性 <property> <name>yarn.node-labels.enabled</name> <value>true</value> </property> <property> <name>y...

2020-02-05 13:56:52 184

原创 Vue入门教程

1 vue基础使用1.1 hello vue新建一个hello.html文件，并编辑以下代码<!DOCTYPE html><html lang="en"><head><meta charset="UTF-8"><title>Vue Tutorial</title></head><body&...

2020-01-12 19:15:41 216

原创 Spark 任务性能优化浅谈

1 spark on yarn(cluster模式)框架图1- 11.1 yarn组件概念ResourceManager：负责集群的资源管理和分配。NodeManager：每个节点的资源和任务管...

2020-01-11 18:49:34 579

原创 nginx之if判断、变量设置、$1

一、if指令if 空格 (条件) { xxx}“=”来判断相等, 用于字符串比较“~” 用正则来匹配(此处的正则区分大小写)~* 不区分大小写的正则-f (判断请求的文件是否存在);-d (请求的目录是否存在) ;-e (文件或目录是否存在) ;-x (文件是否可执行)。二、设置变量set $var "hello"三、有正则表达式匹配时，并且表达式有...

2020-01-01 17:47:58 8632

原创 nginx之log_format配置

http { log_format main '$remote_addr "$request"'; access_log /var/log/nginx/access.log main;}上面定义了一个main格式的log_format，在access_log最后加上main，表示使用main格式。若不指定access_log，新定义的log_format是不生效的。lo...

2020-01-01 16:31:31 1327

原创 rsync实现多台服务器间文件同步

rsync实现多台服务器间文件同步假设有192.168.1.1和192.168.1.2服务器与客户端是相对的，运行服务的机器为服务器，请求服务的为客户端；在以下配置中，192.168.1.1运行rsync服务，因此为服务器，192.168.1.2为客户端一、服务端192.168.1.1安装配置rsync1、rpm -aq rsync 检测是否安装rsync2、yum instal...

2019-11-24 15:42:28 849

原创 mysql insert ignore into以及replace into用法

假设有表t1( id int, name varchar(32), PRIMARY KEY (id))1、insert ignore into当插入数据时，若出现错误时，比如重复数据，将不返回错误，只以警告形式返回。因此确保语句本身没有问题INSERT IGNORE INTO t1 (id,name) VALUES (100,'Mani');2、on dupli...

2019-11-13 15:24:32 331

原创 nginx之location匹配顺序

`=` 开头表示精确匹配`^~` 开头表示uri以某个常规字符串开头，不是正则匹配`~` 开头表示区分大小写的正则匹配;`~*` 开头表示不区分大小写的正则匹配`/` 通用匹配, 如果没有其它匹配,任何请求都会匹配到优先级(location `=` ) > (location `完整路径` ) > (location `^~` 路径) > (location...

2019-11-10 15:46:22 989

原创 nginx之server_name配置

server_name 指定虚拟主机的域名或者IPnginx匹配虚拟主机顺序如下：1、准确的server_name匹配，例如：server { listen 80; server_name domain.com www.domain.com; ...}2、以*通配符开始的字符串：server { listen 8...

2019-11-10 15:32:49 330

原创 nginx配置

main # 全局配置events { # nginx工作模式配置}http { # http设置 .... server { # 服务器主机配置 .... location path{ ...

2019-11-10 15:20:33 79

原创 nginx之proxy_pass配置

proxy_pass后面的url加/，表示绝对根路径；如果没有/，表示相对路径，把匹配的路径部分也传给后端服务如请求 http://192.168.9.10/proxy/test.html第一种：location /proxy/ { proxy_pass http://127.0.0.1/;}代理URL：http://127.0.0.1/test.html第二种:......

2019-11-10 14:49:29 1682

原创 Http请求头Host字段作用

HTTP/1.0不支持Host请求头；而在HTTP/1.1中，Host请求头部必须存在,否则会返回400 Bad RequestHost的作用是实现多个虚拟主机假如在192.168.9.10机器上部署三个站点：www.baidu.com，www.taobao.com和www.jd.com用nginx配置就是http { server { server_name...

2019-11-10 14:31:53 3218

原创 python matplotlib画图

#!/usr/bin/env python#-*- coding: utf-8 -*-#使用matplotlib的版本为0.5.11，安装方式 pip install matplotlib==0.5.11import matplotlibmatplotlib.use('Agg') #linux环境下使用，在matplotlib.pyplot导入前，否则会出现_tkinter.TclEr...

2019-11-09 21:15:16 122

原创 python flask、flask_restful构建应用

1、bootstrap.sh 启动应用脚本python svr.py --port 13800 --initializer initializer --decorator init_flask_restful --enable_debug2、svr.py 主程序#!/usr/bin/env python# -*- coding: UTF-8 -*-import arg...

2019-11-03 13:43:59 172

原创 python argparse用法

import argparsedef parse(): _parser_ = argparse.ArgumentParser() _parser_.add_argument("-A", "--app_name", default=__name__, type=str, help=u"") _parser_.add_argument("-I", "--initial...

2019-11-02 08:31:27 120

原创 python urllib2 发送http请求

import urllibimport urllib2url = "http://yyy/zzz/xxx.php"params = { "receiver" : "aaa", "msginfo" : "hello", "sender" : "bbb"}#将字典键值对按URL编码转换，从而能被web服务器接受。通过urllib.unquote()方法，把 UR...

2019-11-02 07:44:38 194

原创 iptables详解

1、5条链：prerouting、forward、postrouting、input、output2、4个表：raw、mangle、nat、filter3、查看规则iptables -nvL --line-number -L 查看当前表的所有规则，默认查看的是filter表，如果要查看NAT表，可以加上-t NAT参数 -n 不对ip地址进行反查，加上这个参数显示速度会快...

2019-10-31 20:18:39 233

原创 Hadoop Web UI控制台添加验证

默认情况下，Hadoop HTTP Web控制台（ResourceManager，NameNode，NodeManagers和DataNodes）允许访问而无需任何形式的身份验证。官网连接：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/HttpAuthentication...

2019-10-26 14:31:08 2230 1

原创 hive 数字IP与字符串IP之间转换

字符串IP：192.168.123.26 对应的数字IP：3232267034字符串IP --> 数字IPcast(split("192.168.123.26","\\.")[0] as bigint)*256*256*256+cast(split("192.168.123.26","\\.")[1] as bigint)*256*256+cast(split("192.16...

2019-10-11 17:10:39 2544

原创 linux下df和du查看剩余空间不一致

一、原因：常见的df和du不一致情况是文件删除造成的，当一个文件被删除后，在文件系统目录中已经不可见了，所以du就不会再统计它了。然而如果这个时候还有运行的进程持有这个已被删除了的文件的句柄，那么这个文件就不会真正在磁盘中被删除，分区超级块中的信息也就不会更改。这样df仍旧会统计这个被删除了的文件。二、处理方式：使用lsof命令找到还持有被删除文件句柄的进程，然后关闭进程或者杀掉进程用以释放空间...

2019-09-15 22:39:45 670

原创 java调用native库（如.so）：java.lang.UnsatisfiedLinkError：包名.类.方法(参数)

常见错误：1、java.lang.UnsatisfiedLinkError: no xxx in java.library.path2、Exception in thread "main" java.lang.UnsatisfiedLinkError: 包名.类.方法(参数)错误1是由于在LD_LIBRARY_PATH中没有找到对应.so错误2没有对应的方法，还有一种可能，类的包路径没有与...

2019-08-27 20:44:28 1514

原创 liunx下查找某个类存在哪个jar包里

方法一：find / -name "*.jar" -exec grep -Hsli 类名 {} \;方法二：find / -name "*.jar" | xargs grep -Hsli 类名 {}

2019-08-27 10:59:52 1815

原创 hadoop NameNode和SecondaryNameNode

一、NameNodeNamenode 是 HDFS 的元数据服务器，管理并协调数据节点 Datanode 的工作，其内存中保存整个分布式文件系统的两类元数据：(1)文件系统的名字空间，即系统目录树（恢复这个需要FsImages和Edit logs）。(2)数据块副本与 Datanode 的映射，即副本的位置。第(1)类元数据在 Namenode 上定期持久化，保存为镜像文件。数据块副本的...

2019-08-10 17:28:40 206

原创 vim常用命令

1、命令行模式，v:从光标当前位置开始，光标所经过的地方会被选中，再按一下v结束。2、命令行模式，V:从光标当前行开始，光标经过的行都会被选中，再按一下V结束。3、命令行模式，Ctrl+v:从光标当前行开始，光标经过的行都会被选中，再按一下Ctrl+v结束。4、命令行模式，y:复制5、命令行模式，p:粘贴6、命令行模式，d:删除7、命令行模式，u:回退...

2019-08-01 17:34:12 75

原创磁盘挂载

1、lsblk：列出所有可用块设备的信息2、fdisk -l：列出系统中当前连接的硬盘3、fdisk /dev/sdb：对sdb进行分区4、mkfs.ext3 /dev/sdb1 ：将/dev/sdb1格式化为ext3类型 mkfs.xfs -f /dev/sdb：也可以将一个磁盘直接格式化，不进行分区5、mount /dev/sdb1 /data1：将一个分区挂载到/data1...

2019-08-01 12:11:22 425

空空如也

空空如也