大数据追随者-CSDN博客

原创 python实现连接mysql

import pymysqldb = pymysql.connect(host=’’ ", user=’’ ", password=’’, port=, database=’’,charset=‘utf8’)cur = db.cursor()count = cur.execute(’’)print(‘要查询%d的数据’%count)print(cur.fetchall())数据库对象connection的方法：cursor()：代表一个数据库光标，用于管理获取操作的上下文。从同一连接创建的光标

2021-12-07 10:27:27 986

原创解决cmd输入 vue ui没反应问题

首先输入vue -h 查看是否有vue相关配置可以出来有关vue的东西输入cnpm i -g @vue/cli 进行安装安装完成之后在输入:vue ui出现访问地址就ok了

2021-12-03 10:40:52 743

原创 matplotlib饼图百分比可视化

填写自己的mysql连接方式和sql语句即可实现饼图带百分比,线长度自己可以调参数import pymysqlfrom matplotlib import pyplot as pltimport numpy as npclass mysql_func():# 配置mysql数据库连接池def init(self, host=’’, user=’’, password=’’, port=, database=’’,charset=’’):self.host = hostself.user

2021-12-02 09:19:40 1662

原创 sqoop ERROR tool.ExportTool: Error during export: Export job failed

在hive数据导出到mysql当中,遇到这种错误,无非就是你hive表中数据为null

2021-12-01 11:27:55 1165

原创 python、hadoop、java、redis下载地址大全

mysql:https://dev.mysql.com/downloads/mysql/python:https://www.python.org/downloads/windows/python:https://www.python.org/downloads/macos/pycharm:https://www.jetbrains.com/pycharm/download/#section=windowspycharm老版本下载:https://www.jetbrains.com/pycharm/

2021-12-01 10:13:34 1412

原创 java基础

day01 - java基础语法1. Java概述1.1 Java语言发展史（了解）语言：人与人交流沟通的表达方式计算机语言：人与计算机之间进行信息交流沟通的一种特殊语言Java语言是美国Sun公司（Stanford University Network）在1995年推出的计算机语言Java之父：詹姆斯·高斯林（James Gosling）2009年，Sun公司被甲骨文公司收购，所以我们现在访问oracle官网即可：https://www.oracle.com当前，我们课程使用的JDK版本：

2021-11-24 18:40:00 321

原创虚拟机配置静态ip

配置完成后:wq保存重启生效service network restartIPADDR,GATEWAY这一部分前三数字要和你本地ip保持一致

2021-11-23 15:47:33 1522

原创 selenium + webdriver遇到的坑

Message: session not created: This version of ChromeDriver only supports Chrome version 91 Current browser version is 96.0.4664.45 with binary path C:\Program Files\Google\Chrome\Application\chrome.exe使用python去请求你的谷歌浏览器时候,一直请求不到网页一直打不开,原因就是你的谷歌浏览器版本在升级了,与

2021-11-22 09:31:48 976

原创多进程redis存储mysql

一个表不在同一个库中,我是取import pymysqlimport redisfrom multiprocessing import Processimport timer = redis.Redis(host=“127.0.0.1”,password=‘123456’, port=6379)def insert(key):con86 = pymysql.Connect(host=’’, user=’’, password=’’, port=,charset=’’,database=’’)

2021-11-19 15:59:41 628

原创 python连接impala在服务器安装的库

yum install gcc libffi-devel python3-devel openssl-develyum install python-develyum remove -y python-devel-2.7.5-90.el7.x86_64 删除存在pip3 install sixpip3 install bit_arraypip3 install thriftpypip3 install thrift_saslpip3 install impylaimpala需要的库安装完成

2021-11-19 15:16:50 1936

原创十亿数据量之mysqlpump备份.sql文件

mysqlpump -h[服务器ip地址] -P[端口号] -u[用户名] -p[密码] [数据库名] --column-statistics=0 test > test.sqlmysqlpump是mysql5.7版本之后所支持的不管是mysqldump还是mysqlpump,其备份效率要考虑服务器的带宽问题,在带宽没有全部占满的情况下,服务器负载不是很高去执行命令mysqldump是一个单线程备份亲测:十亿的表数据,在执行mysqlpump命令导出sql文件,我所运行的带宽速度最快6M

2021-11-19 14:46:50 1055 1

原创解决Not Found - GET https://registry.npmmirror.com/@vue%2fcl - [NOT_FOUND] @vue/cl not found

解决vue安装插件问题

2022-07-07 17:00:54 3931 1

原创 clickhouse

clickhouse基础常用语法

2022-07-04 09:42:43 2871

原创 xlrd.biffh.XLRDError: Excel xlsx file； not supported

一、报错信息xlrd.biffh.XLRDError: Excel xlsx file; not supported二、报错原因现在xlrd更新到2.0.1 支持xls格式pip uninstall xlrdpip install xlrd==1.2.0将版本修改为1.2.0

2021-12-10 09:54:15 608

原创 matplotlib 雷达图可视化

import randomfrom matplotlib import pyplot as pltimport numpy as npdef academic_level_img():max_list = [405, 330, 165, 180, 120, 135]#这些值可以修改score = [10.9134,5,4,5.2587,4.8392,6.0005]#这些值可以修改new_score = []for a, b in zip(score, max_list):new_score

2021-12-09 15:56:46 249

原创伪分布搭建

（1）修改主机名称sudo hostnamectl --static set-hostname hadoop101（2）配置主机名称映射，打开/etc/hostssudo vim /etc/hosts添加如下内容192.168.1.100 hadoop100192.168.1.101 hadoop101192.168.1.102 hadoop102192.168.1.103 hadoop103192.168.1.104 hadoop104192.168.1.105 hadoop10...

2021-12-09 14:46:59 140

原创 spark参数

一、spark提交参数二、使用spark shell实现wordcount数据:java pythonpython goc++ c#

2021-12-09 13:36:33 1232

原创 ModuleNotFoundError: No module named ‘pip‘

一、错误如下二、解决bug删除~ip的文件夹问题就解决,pip install 可以正常使用这是一个安装pip更新pip网址:https://pip-cn.readthedocs.io/en/latest/installing.html

2021-12-08 18:00:36 113

原创 pyecharts 树状图可视化

import jsonimport osimport pymysqlimport randomfrom pyecharts import options as optsfrom pyecharts.charts import Graphclass mysql_func():def get_data(db, sql, data=None):try:curors = db.cursor()except:db.ping(reconnect=True)curors = db.cursor()

2021-12-08 16:23:53 1982

原创 sqoop

hive数据导出到mysql: export --connect “jdbc:mysql://localhost:3306/test” --username root --password 123456 --table emp --export-dir /user/hive/warehouse/student.db/emp/ --input-null-string “\N” --input-null-non-string “\N” --fields-terminated-by “\001”mysql数据导

2021-12-08 10:15:31 1976

原创 scala.Product.$init$(Lscala/Product；)V

一、首先我们看报错信息先排除代码问题二、解决问题原因是因为你自己的spark依赖版本和自己scala版本不匹配,导致结果报错查看自己的spark依赖版本是否与自己scala完全同步

2021-12-07 16:18:48 841

原创 hadoop kafka hive flume 依赖

<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.8.5</version> </dependency> <!-- https://mvnrepository.com/arti...

2021-12-07 15:57:22 239

原创 spark-sql依赖

<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.12</artifactId> <version>3.0.0</version> </dependency> <dependency> <groupId>org.apache.spark<.

2021-12-07 15:22:14 804

原创 ETL基本概念

*BI项目中ETL设计与思考*ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。ETL是BI项目重要的一个环节。通常情况下，在BI项目中ETL会花掉整个项目的1/3的时间,ETL设计的好坏直接关接到BI项目的成败。ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候我们也是从这三部分出发。数据的抽取是从各个不同的数据源抽取到ODS(OperationalDataStore，操作型

2021-12-07 09:41:00 199

热爱编程的谢同志