quantam的博客

原创 Linux 桌面版系统问题分析及CDH 6影响分析，CDH做HA模式配置教程

Linux桌面版问题分析及对CDH使用的影响分析，以及补充怎么配置HA让集群性能更优的教程

原创 记一次惊险的CDH6.3.2集群断电后重启的过程

用navicat打开数据后发现确实在metastore库下是没有CM_VERSION这张表的，但是在scm下有，然后我就自己在metastore库里面建一个一样的，不知道有没有用。终于启动起来了，然后登录http://xxx:7180/cmf/home 去看哪些服务没起的就手动起就完了。当时我记得配数据库的时候是用scm的，不知为啥变成metastore了，现在改回来。查看服务是否启动，显然结果是failed。

原创 数据库增删改查基本操作

修改表• 增加列• 移除列• 增加约束• 移除约束• 修改默认值• 修改列数据类型• 重命名列• 重命名表1、增加列要增加一个列，可以使用这样的命令：ALTER TABLE products ADD COLUMN description text;新列将被默认值所填充（如果没有指定DEFAULT子句，则会填充空值）。也可以同时为列定义约束，语法：ALTER TABLE products ADD COLUMN description text CHECK (description

原创 python3.9安装和pandas安装踩坑处理

python3.9安装和第三方包安装，异常处理

原创 mysql 无需修改配置文件，即可改变表数据存储位置

mysql数据库建表技巧

原创 hive和hbase的一些数据导入导出操作

hive 、hbase的一些基本操作

原创 CentOS系统重新删除磁盘分区和挂载、开机自启(大于2T做法)

CentOS重新挂载磁盘操作过程

原创 小白从CentOS7到安装CDH6.3.2入坑实操指北(二)

CDH集群安装和问题处理过程

原创 小白从CentOS7到安装CDH6.3.2入坑实操指北(一)

操作系统安装和网卡配置图文操作简介

原创 车牌识别的N种办法——从OCR到深度学习

第一种方法 利用 pytesseract 进行识别pytesseract是一个现成的OCR识别工具，具体的 pytesseract 安装可百度安装import cv2 as cvfrom PIL import Imageimport pytesseract as tess def recoginse_text(image): """ 步骤： 1、灰度，二值化处理 2、形态学操作去噪 3、识别 :param image: :return:

原创 用python流水线式下载B站视频，提取每一帧图片并去重，制作成PDF文档

一、下载视频方式下载B站的视频可以考虑网络爬虫，下载器等方式，这里我选择用唧唧下载器，下载速度耿耿的，系列课程的视频还可以批量下载，简单方便。下载后的视频保存成MP4格式二、...

原创 通过HSV空间颜色转换进行汽车车身颜色判断

目前，有很多对车的颜色进行识别的，传统的基于颜色空间的，以及目前较为火的机器学习、深度学习等方法，深度学习准确度高，但是需要进行训练，存储权重文件等，传统办法就较为简单，几十行代码就解决了。汽车车身颜色判断定义函数和识别方法如下：import numpy as npimport collectionsimport cv2#定义字典存放颜色分量上下限#例如：{颜色: [min分量, max分量]}#{'red': [array([160, 43, 46]), array([179, 255,

原创 用python进行抠图，去除图像背景干扰

为了让我们后续的应用更加专注于目标，我们需要把目标从图像中抠出来，以便于后续的使用。比如我们要识别汽车车身的颜色，首先要把车周围背景过滤，然后再进行车身颜色像素统计。实现抠图有两种方式，第一种是比较简单的，一键运行就行了，但是效果不是很理想，只是能减少背景的干扰，优点就是能批量处理想要的图片；第二种就精致得多，可以人工慢慢地把前景和背景区分开来。本文使用的办法是OpenCV自带的grabcut函数，有论文作为支撑，有想了解的可以去搜一下。论文名称：“GrabCut” — Interactive For

原创 pytorch中文文档1.7下载到本地方法

在线阅读地址：https://dl.apachecn.org/#/本地阅读办法1、在anaconda prompt 里输入pip install apachecn-dl-zh2、在第一步安装完成后，anaconda prompt 输入apachecn-dl-zh会有如下显示3、在浏览器网址输入界面输入http://localhost:3000/#/或者http://localhost:3000/页面显示接下来就尽情阅读了！！！...

原创 分享两个投资研究报告下载网址（艾瑞咨询+赛迪满天星）

在进行投资以及一些产业研究时，通过别人的研究成果是快速了解一个行业的最快速的办法，多一分学习研究，多一分成功的把握！一、满天星二、艾瑞咨询

原创 利用 face_recognition 包进行人脸特征提取与识别，实现一对一、一对多识别

face_recognition是一个轻量化的人脸识别包，能识别出人脸的眉毛、鼻子、嘴巴、眼睛等特征点，进行计算两张脸的距离，比较两张脸是否为同一个人等功能。一、两张图像进行比较取两张照片进行图像比对，确认是否同一个人，在进行比较时，发现两个不同的人比对结果为同一个人，原因是没有设定较为严格的阈值，需在results = face_recognition.compare_faces([my_face_encoding], unknown_face_encoding)在程序中添加 tolerance

原创 用Python自动批量修改postgres数据库字段长度和类型,添加主键

由于在建表不规范，存在字段长度过长和类型不符等原因，导致后面在存数据的时候报错，要一个一个表去检查、修改，工作量很大。修改起来，半天时间过去了，改完已经两眼昏花，四肢无力，真的是泪两行啊！！！！！为了节省我们的工作量，释放双手玩手机，这种事情交给程序来完成就好了。嗯，真香。。。。说干就干，干起来（此处有分割线）一、步骤分解1、连接数据库import psycopg2conn=psycopg2.connect(database='database',user='username',pass

原创 数据分析、数据科学网站

1、数据分析网：https://www.afenxi.com/网站上有很多分析报告，深度进行分析，值得阅读学习！2、199IT中文互联网互联网数据咨询平台：http://www.199it.com/主要是研究报告，，涉及很多行业

原创 ‘chromedriver‘ executable needs to be in PATH解决办法

Python调用谷歌浏览器报错 Message: 'chromedriver' executable needs to be in PATH. Please see https://sites.google.com/a/chromium.org/chromedriver/home解决办法参考文章如下：[‘chromedriver’ executable needs to be in PATH解决办法](https://www.jianshu.com/p/dc0336a0bf50)操作步骤如下

原创 pg数据库查找出所有未建立主键的表的超级简单方法，只需要使用到一张系统表

第一章 问题解决step1 找出数据库中所有的表英文名称找出数据库中所有的表英文名称,命名为表ASELECT * from pg_class where pg_class.reltoastrelid!=0 and pg_class.relname not like 'pg_%' and pg_class.relname not like 'sql_%'step2 找出所有主键的表找出所有主键的表，命名为表BSELECT pg_class.relname from pg_class whe

转载 windows环境下部署docker项目，手把手教学

《windows环境下部署docker项目》转载自博客园https://www.cnblogs.com/baiboy/p/docker1.html

原创 笔记本无法找到WiFi信号，需要手动设置wlan autoconfig的解决办法

有时候电脑无缘无故搜不到WiFi信号，需要手动打开wlan autoconfig1、右键“我的电脑”----“管理”2、左键“服务和应用程序”–双击“服务”3、找到“WLAN AutoConfig”，右键打开4、右键“属性”进行设置，点击“确定”...

原创 用python读取pg数据库中的blob类型图片数据，转换存成jpg格式存到本地文件夹

先啰嗦一下，热热身在工作中，我们常见到数据库中的数据类型主要为char,varchar,text等，但是有时我们也会用blob格式来存储语音文件或者图像文件，在网上找了很多，都没找到合适的办法，只好自己开发一个。存入数据库中的图像，我们要读取出来，有两种方式：1、数据库管理工具navicat。使用这个工具时简单方便，不需要懂编程，入门难度较低，但是当需要导出1000个人的图像时，如果一个个导出，需要花费很大的时间成本，如果懂得写SQL 语句，那就方便许多。2、python。python这个工具确实很

原创 用Python读取pg数据库，准确统计每一张表的数据量，输出中英文表名和数据量

1 前言在我们工作中，有时候老板关系我们手上到底有多少数据，每一张表中到底有多少数据量，整个库又有多少数据量？要给他一个准确的数据，给出一张详细清单。在网上遇到的一种做法是使用navicat写SQL语句统计pg_class里面的reltuples这个列数据，但是发现这个数据有很大偏差。2 正文给出的办法有两种：1、写一个SQL语句计算每一张表：select count(1) from table_a union all;select count(1) from table_b union

原创 一图胜千言，《数据挖掘导论》整理——思维导图，花了一个晚上整理，值得珍藏

原创 kettle转换日志分析，便捷统计出具体操作了哪些表格，不再迷茫

日志表分析当我们进行kettle作业时，为了了解操作了哪些表格，我们可以在数据库中查找r_step这个表格这个表中有用的列是name 、id_step_type这两列查看发现id_step_type这个表中只有169、180、187、188这几个数字，代表什么意识呢？在r_step_type这个表给出解析169 InsertUpdate 插入 / 更新 基于关键字更新或插入记录到数据库.180 Dummy 空操作 (什么也不做) 这个步骤类型什么都不作.{0}

原创 PostgreSQL 11.2 手册 （中文版） PostgreSQL中文社区

PostgreSQL 11.2 手册 （中文版）http://www.postgres.cn/docs/11/目录前言何为PostgreSQL？PostgreSQL简史约定进一步的信息缺陷报告指南I. 教程从头开始SQL语言高级特性II. SQL 语言SQL语法数据定义数据操纵查询数据类型函数和操作符类型转换索引全文搜索并发控制性能提示并行查询III. 服务器管理从源代码安装在Windows上从源代码安装服务器设置和操作服务器配置客户端认证

原创 用Python批量从本地导数据到postgres数据库，比人工导入快十倍，爽

目录 1.序言 2.实现逻辑思路 3.代码技术点 4.完整代码实现 1.序言在数据采集过程中，我们不一定能得到数据接口访问权限，得到的可能是一堆的Excel文档，这些文档，我们想要做后续的数据分析，就需要把这些数据存入数据库中。手工存入时，文档数量较少时，工作量还不是很大，当有成百上千个文档时，要一个一个录入，这就需要费很大工作量了。这时候，使用Python进行数据批量导入就省时省力得多。2.实现逻辑思路实现的逻辑图...

原创 利用Python进行postgres、mysql数据库基本操作（建表、插入数据、删除数据、添加字段注释）

一、 postgres数据库基本操作共有建表、插入数据、、查询数据、删除数据、添加字段注释等5种操作，分为4步import psycopg2#step1conn=psycopg2.connect(database='gndsj',user='postgres',password='postgres',host='172.0.0.88',port='5432')cursor=conn.c...

原创 pg_class家族成员（名字、类型、引用、描述），附带几个实例，简单易懂

pg_class家族成员（名字、类型、引用、描述）pg_ class 是数据字典最重要的一个表，它保存着所有表、视图、序列、索引的原数据信息，每一个DDL/DML操作都必须跟这个表发生联系，在进行整库操作时经常使用到pg_class里面的东西，把它们整理出来，对数据库的了解有很大帮助。**名字 类型 引用 描述**relname ...

原创 postgres查询整个数据库表表名称、字段名称、中文注释，数据量

1、查询数据库所有英文表名称、字段名称及对应的表和字段中文注释、字段类型等，select c.relname 表名,cast(obj_description(relfilenode,'pg_class') as varchar) 名称,a.attname 字段,d.description 字段备注,concat_ws('',t.typname,SUBSTRING(format_type(a.at...

原创 postgres常用语句和错误处理办法

一、有关时间的计算1、当前时间select now(); 2020-03-17 14:51:08.409262+08select current_timestamp； 2020-03-17 14:51:08.409262+082、当前日期select current_date; 2020-03-173、当前时间select current_...

原创 利用Python爬取《囧妈》豆瓣短评数据，并进行snownlp情感分析

snownlp中文本积极评论和消极评论所在的位置关于训练训练是更好地完善现有的语料库，现在提供训练的包括分词，词性标注，情感分析。以分词为例 分词在snownlp/seg目录下# 分词训练from snownlp import segseg.train('data.txt')seg.save('seg.marshal')# 词性标注训练# from snownlp import...

原创 Apache软件安装资源

清华大学镜像，包括hadoop,flink,kafka,spark等各种安装资源,资源不定期更新添加链接描述

原创 Ubuntu后无法联网的处理办法

在终端输入 sudo vim /etc/network/interfaes输入密码后看到下面的内容在后面添加后面的内容，shift +A 进入编辑状态 输入完后，Esc退出编辑，shift +ZZ 保存退出。注意英文部分不要输错，不然连不上网（192.168.0.172）是我的集群分配的ip,后面的255.255.255.0是固定的。ens33是在终端输入ifconfig 出来的，如...

原创 国内机器学习平台和相关大牛

机器学习部分国内牛人https://www.cnblogs.com/adong7639/p/4851390.html深度盘点国内四大机器学习平台https://www.cnblogs.com/adong7639/p/4851390.html国内机器学习/数据挖掘大牛https://blog.csdn.net/iteye_4185/article/details/82566425...

转载 PyQt5中文教程资料

[PyQt5中文教程](http://code.py40.com/pyqt5/)[PyQt5实现的一个项目](https://blog.csdn.net/lishuan182/article/details/78760413)

转载 使用并行运算Process Pools给你的代码4倍提速！

使用并行计算让你的程序运行得更快！ 很实用转载：https://cloud.tencent.com/developer/article/1135244原文链接：https://medium.com/@ageitgey/quick-tip-speed-up-your-python-data-processing-scripts-with-process-pools-cf275350163a...

原创 使用PYTHON做项目遇到的问题及解决办法

由於刚上手一个python做项目，会遇到各种的坑，所以边学习边实践，通过写一篇博文来记录其中的知识点，方便自己以后再用到时便于查找。第一步：创建文件夹，用来存中间计算过程中的数据def mkdir(path): folder = os.path.exists(path) if not folder: #判断是否存在文件夹如果不存在则创建为...