2021-02-23 mysql提示Truncated incorrect DOUBLE value的异常处理一版这个问题多出现在执行 update 语句同时更新两个或两个以上字段的时候，报错写法，upadate database.tablename field1 = 'value1' and field2='value2' where field3='value3';只要把‘and' 改为',',这样就可以了。多练，多记录，多学习。...
clickhouse 连接mysql数据库ip变更解决方法 最近在学习click house介绍 安装在这clickhouse 官网因为我这边使用的是虚拟机，MySQL安装在windows上，在clickhouse 中最开始配置的MySQL数据库使用的ip是vmware随机分配的ip，导致下次使用vmware时分配给windows的ip变化了，所以clickhouse server连接不上原来的MySQL数据库。报错如图就是Code: 210. DB::NetException: Connection refused 这个错误。我觉...
[问题解决]极简解决RedHat7更换CentOS7的yum源 最近需要使用redhat代替centos，centos和redhat本是同根同源的，但是使用redhat的yun源需要注册，所以在测试非商业环境大部分都是使用centos的yum源来做，踩了一些坑，发现最简单的替换yum源方法。将/etc/yum.repos.d/CentOS-Base.repo 替换为以下内容即可，本人使用的redhat 7.6 所以版本可以替换为自己正在是的就好。# CentOS-Base.repo## The mirror system uses the connect.
解决json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes 最近做python web，要解析json，这个json.decoder.JSONDecodeError: Expecting value: line xxx column yyy (char n)问题困扰了一会，记录下来帮大家提供一个解决此问题的方向json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes:line xx column yyy (char n)其实错...
Python连接hive数据中遇到的各种坑 这里选择的是使用：impala+Python3.6来连接hive数据库from impala.dbapi import connectfrom impala.util import as_pandasconn = connect(host='192.168.118.118', port=10000, user='root', database='default', password='root', auth_mechanism ='PLAIN')cursor = conn.cursor().
使用anaconda虚拟python环境使用pyspark的一种方式 大数据学习之pyspark环境搭建。安装anaconda、配置好虚拟环境之后，可以编辑家目录下.bashrc文件，我的用户名是bdbp，虚拟环境名称也是bdbp编辑.bashrc添加以下内容export PYSPARK_PYTHON=/home/bdbp/.conda/envs/bdbp/bin/pythonexport PYSPARK_DRIVER_PYTHON=/home/bdbp/.conda/envs/bdbp/bin/jupyterexport PYSPARK_DRIVER_
python连接zookeeper、hbase 背景：os:centos 7.6zookeeper:3.4.14hbase:1.4.13python:anaconda3-python3.6.8准备工作：先启动集群，包括zookeeper，hbase，和ThriftServer，ThriftServer是hbsse用于对外提供api的组件启动ThriftServer的命令是：hbase thrift start ...
python安装 pycurl 操作系统：CentOS7.6 64位Python版本：3.6.8安装pycurl的时候报错 ERROR: Command errored out with exit status 1: command: /home/anaconda/miniconda3/envs/bdbp/bin/python -c 'import sys, setuptools, tokenize; ...
八斗十六期系列学习比记--The authenticity of host 'node2 (xxx.xxx.xxx.xxx)' can't be established. 交了高昂的学费，报名了八斗16期，升级了笔记本内存和硬盘，希望能够学有所成。今天是搭环境，用虚拟机搭了hadoop2.7.7，本来一切按教程都很顺利，最后启动时出现这个问题：The authenticity of host 'node2 (192.168.118.120)' can't be established.百度了一下有很多方法，但是我自己发现了一个新的方法，就是修改maste...
解决python 读取hive表的char类型字段返回 keyerror:21 这是python不支持char类型所致，使用cast函数将char类型的字段转数据类型即可，比如select cast(finish_flag as string) finish_flag from sor_data.test1;这样的sql是可以运行的。...
cdh hive支持update delete参数配置方法 以下配置项必须被设定：Client端：hive.support.concurrency–truehive.enforce.bucketing–truehive.exec.dynamic.partition.mode–nonstricthive.txn.manager–org.apache.hadoop.hive.ql.lockmgr.DbTxnManag...
WARNING: bridge-nf-call-iptables is disabled解决 执行docker info出现如下警告WARNING: bridge-nf-call-iptables is disabledWARNING: bridge-nf-call-ip6tables is disabled解决办法：vi /etc/sysctl.conf添加以下内容net.bridge.bridge-nf-call-ip6tables = 1net.br...
windows 和 Linux 添加环境变量 1、先了解一下什么是PATH环境变量（1）环境变量环境变量相当于“快捷键”。一个“HOME=/home/ACCP286”的环境变量指明你在这个电脑上的个人主目录是“/home/ACCP286”，你每次要回到个人主目录时，不需要输入“cd /home/ACCP286”，只需要“cd $HOME”或者在文件管理器的地址栏输“$HOME”即可；你写一个脚本程序，用到你的个人主目录，也只需要...
df.describe() 用法概述 python数据清理方面一般都会用到df.describe()这个函数，但其实这是可以传参数的。比如以泰坦尼克号生存预测为例df =pd.read_csv('./train.csv')df.describe()df.describe(include='O')# 大写英文字母 Odf.describe(include='all')可以看出默认是描述数字类型的属...
centos 虚拟机 Name or service not known 解决方法 今天打开虚拟机安装docker 突然发现网络不通，ping 某度 出现 ”Name or service not known“， 而我记得周五还在用的，今天周日就不能用了？经过多方排查才发现是 网卡设置有问题----网卡的网关和虚拟机设置的网关不一致，如下图两个地方的网关要一致，但是不知道我什么时间做了更改。即要保证图中 5 和 3 是一样的。对于其他错误可参考此文章...
CENTOS7下安装REDIS 一、安装redis第一步：下载redis安装包wget http://download.redis.io/releases/redis-4.0.6.tar.gz[root@iZwz991stxdwj560bfmadtZ local]# wget http://download.redis.io/releases/redis-4.0.6.tar.gz--2017-12-13 12...
Linux下 python3.7.X 安装相关问题 zipimport.ZipImportError ModuleNotFoundError: No module named '_ctypes' 今日安装centos 安装 python 3.7.4出现两个问题，记录一下，方便其他人排错。ipimport.ZipImportError: can't decompress data; zlib not availablecentsos yum -y install zlib*Ubuntu apt-get install zlib*ModuleNotFound...
使用pandas对数据进行清洗 目录：数据表中的重复值 duplicated() drop_duplicated() 数据表中的空值/缺失值 isnull()¬null() dropna() fillna() 数据间的空格 查看数据中的空格 去除数据中的空格 大小写转换 数据中的异常和极端值 replace() 更改数据格式 astype() to_d...
sqoop抽数数据量少于原表情况的可能原因 今天用sqoop从Oracle数据库抽数，做数据核对的时候发现抽到的数据量少于Oracle数据中的数据量，后来检查发现是因为抽数语句中的split-by field 关键字不是主键，有空值，一般来数split-by field 字段都是主键，但是本次特殊情况，在前几次的抽数过程中出现 split-by field 字段只能是数字类型但是目标表的主键是string类型，所以找了其他的数字...
关注
