- 博客(72)
- 收藏
- 关注
RSS订阅原创 Python将方法放置到线程池中，多线程执行；方法执行效率翻倍提升！
【代码】Python将方法放置到线程池中，多线程执行；方法执行效率翻倍提升！
2023-09-11 09:41:06
203
原创 python管理pymysql线程池 ---python连接mysql优化程序
在以上代码中，使用Queue实现了一个连接池，构造函数中初始化了池子中的MySQL连接，get_connection()方法从队列中取一个连接，并在需要时自动新建连接，调用release_connection()方法将连接归还到池子中。execute()方法用于执行SQL查询，并在执行完毕之后将连接返回到连接池中。Pool）来管理多个MySQL连接。对象池是一种常用的优化技术，它预先分配一定数量的资源（如MySQL连接），并将它们放到一个池子里面，等待程序需要时随时取出。可以使用对象池（Object。
2023-05-30 15:08:44
604
原创 python整合flaskapi框架跟uvicorn框架--用户登录注册功能（用JWT加密算法）复制即用
flaskapi框架跟uvicorn框架--用户登录注册功能（用JWT加密算法）
2023-05-16 15:51:15
497
原创 Spark(SparkStreaming)消费Kafka消息--使用mysql或redis维护消费索引（保证消费的数据不重复不丢失）
Spark(SparkStreaming)消费Kafka消息--使用mysql或redis维护消费索引（保证消费的数据不重复不丢失）, '多主题，多分区'
2022-11-25 10:32:29
996
原创 Java实时监控Mysql的binLog--可指定监听某个库或者某张表
Java实时监控Mysql的binLog--可指定监听某个库或者某张表
2022-11-18 18:06:29
4277
11
原创 Python组件Flask在Linux后台运行命令 & Python消除字符串中的反斜杠
【代码】Python组件Flask在Linux后台运行命令 & Python消除字符串中的反斜杠。
2022-11-18 17:17:32
693
原创 kafka重启报错 |cloudera manager访问返回500 | HDFS启动出错
kafka重启报错 | Cloudera Manager 浏览器访问返回500 | hdfs 启动出问题1.Unable to retrieve non-local non-loopback IP address. Seeing address: cm/127.0.0.12.ERROR ScmActive-0:com.cloudera.server.cmf.components.ScmActive: ScmActive was not able to access CM identity to valid
2022-09-16 17:25:14
932
原创 springboot导入spring-boot-maven-plugin插件报错及打包项目到服务器上运行(手动导入加自动导入方法)-详细
springboot导入spring-boot-maven-plugin插件报错及打包项目到服务器上运行(手动导入加自动导入方法)-详细
2022-06-23 09:56:02
3277
原创 JAVA精确计算浮点数(double | float)相加--整个集合计算或两个浮点数进行计算
Java精确计算浮点数（double | float）
2022-06-14 13:55:26
1863
原创 linux上nginx的安装流程---详细版
1.首先安装nginx启动需要的环境yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel2.下载nginx的安装包进入到/usr/local的目录下wget http://nginx.org/download/nginx-1.13.7.tar.gz//如果没有wget的命令 执行命令 yum -y install wget 安装好wget命令之后在执行下载nginx安装包的命令3.解压安装包tar -zxv
2022-05-31 16:18:27
306
原创 JAVA使用多线程操作集合中的数据(不会重复调用集合中的数据哦)--详解
当你想使用JAVA的多线程对一个集合进行处理的时候，我们可以将一个集合分成Thread份数据，每份数据交给一个线程执行import java.util.ArrayList;import java.util.List;import java.util.concurrent.*;public class TestApp { private static final String model = TestApp.class.getName(); public static voi
2022-05-07 17:18:11
3831
7
原创 python、JAVA监控oozie任务执行，并报警到钉钉
python监控oozie组件的任务失败，任务未执行，并报警到钉钉import pymysqlimport sysimport osimport requestsimport hmacimport hashlibimport base64import urllib.parseimport timeimport datetimeimport loggingFORMAT = "%(message)s"DATEFMT = "%Y-%m-%d %H:%M:%S"FILE_FORMAT
2022-04-30 00:00:00
505
原创 python的emojize显示不了，还是打印代码的问题解决
emojize官网地址：https://emojipedia.org/search/?q=heartpython导入emojize：pip install emojize从官网获取到这个表情包的快捷代码为wrapped gift (礼盒表情包)，当我们将这个快捷代码带入代码中在python导入表情包时print("{0}emojize表情包{1}".format(emojize(':wrapped gift:'),emojize(':wrapped gift:')))打印出wrapped g
2022-04-25 17:58:05
1078
原创 python发送post请求报编码错误
在python中，发送post请求报错UnicodeEncodeError: 'latin-1' codec can't encode characters in position 264-267: Body ('❤️午安') is not valid Latin-1. Use body.encode('utf-8') if you want to send it encoded in UTF-8.错误一： 可能是你的数据格式不对，如果是json格式的参数，那么dumps之后会变成unicode编码，
2022-03-29 17:26:21
3189
原创 Kafka报错连接超时:Timed out waiting for connection while in state: CONNECTING
报错连接zookeeper超时swhua@swhua:~/Desktop/kafka_2.13-2.7.0$ bin/kafka-topics.sh --create --zookeeper localhost:9092 --replication-factor 1 --partitions 1 --topic matchresult --config cleanup.policy=compact[2021-05-09 16:56:39,279] WARN Client session timed o
2022-03-24 16:36:28
11094
原创 maven打包jar包及程序的插件及命令
maven打包jar及程序的插件 <build> <sourceDirectory>src/main/java</sourceDirectory> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId
2022-02-23 10:08:44
328
原创 java发送多种参数格式（例如 ： form-data/xml/json）的post请求(包括依赖jar包)复制粘贴即用
java发送多种参数格式（例如 ： form-data/xml/json）的post请求(包括依赖jar包)复制粘贴即用
2022-02-22 14:04:59
2044
原创 java发送get请求，并带上参数，HTTP和HTTPS都可以
//java发送get请求，并带上参数 public static String send_Get(String encode_data){ CloseableHttpClient httpClient = HttpClients.createDefault(); URIBuilder uriBuilder = null; String data = ""; try { uriBuilder = new URIBuilder
2022-01-22 12:02:47
9276
原创 java日期格式转换
public class LoopRead { public static void main(String[] args) { loopRead(); } public static void loopRead(){ long timeMillis = System.currentTimeMillis(); SimpleDateFormat dateFormat = new SimpleDateFormat("yyyyMMdd");
2022-01-12 10:43:59
437
原创 向HDFS上的hive中load本地文件
public static void loadData2Hive(String dst,String dateString) { String JDBC_DRIVER = "org.apache.hive.jdbc.HiveDriver"; String CONNECTION_URL = "jdbc:hive2://xx.xx.xx.xx:10000"; String username = ""; String password = "";
2022-01-07 10:39:01
1527
原创 在linux上运行java的jar包的脚本编写
在linux上运行java的jar包的脚本编写#! /bin/bashJAVA_HOME=/usr/java/jdk1.8.0_181java -cp /decode_base64-jar-with-dependencies.jar com.xxx.Demo01直接替换你的jar包名，你要运行的类jar包名最好是绝对路径，不然不熟悉容易出错...
2022-01-06 15:11:50
690
原创 spark报错
如果报错Exception in thread "main" org.apache.spark.SparkException: Job aborted.如果你整合了hadoop等类似的集群或者单机节点，那就是里面有一个节点宕机了，导致你的executor跑不起来，他报的错误也是job跑不起来Caused by: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputS
2021-11-17 20:15:29
1858
原创 spark落地hive报错Incompatible Jackson version: 2.7.3
导入依赖，在项目的pom.xml文件下导入 <dependency> <groupId>com.fasterxml.jackson.module</groupId> <artifactId>jackson-module-scala_2.11</artifactId> <version>2.7.3</version> </depe
2021-11-17 19:46:03
1178
1
原创 nginx报错
执行openresty启动报错，重启报错nginx: [error] invalid PID number "" in "/usr/local/openresty/nginx/logs/nginx.pid"执行openresty的时候关闭stop报错nginx: [error] open() "/usr/local/openresty/nginx/logs/nginx.pid" failed (2: No such file or directory)通过ps -ef | grep nginx
2021-11-08 19:53:32
268
原创 执行scala报错: Token not found
执行scala程序报错scalac: Token not found: C:\Users\bobo\AppData\Local\JetBrains\IntelliJIdea2021.2\compile-server\tokens\32001.找到idea里面的setting的plugins中的scala插件2.卸载这个插件，也就是uninstall，然后重启idea3.在重新安装一下scala插件，重启 之后就不会报错了...
2021-11-07 14:40:53
8504
4
原创 解决spark的数据倾斜以及优化
spark的参数调优 1.shuffle调优参数 --spark.reducer.maxSizeInFlight 在shuffle-read时缓冲区的大小可以适当的加大一点，默认是48M，可以调为96M spark.shuffle.compress 是否支持压缩，默认是支持压缩的，将该值保持为true spark.shuffle.file.buffer 在shuffle-write阶段buffer的大小，默认是32kb，可以调为48kb，或者64kb spark.shuffle.io.ma
2021-10-28 19:55:27
672
原创 spark-shuffle阶段详细描述
spark的shuffle流程1.shuffle发生在宽依赖算子划分阶段的时候，但是宽依赖算子不一定发生shuffle2.shuffle分为两个阶段，一个是shuffle-write，另一个是shuffle-read3.在shuffle-执行write时，我们要可以选择一个分区器，比如有hashpartition、rangepartition，还有用户自定义的分区器4.在write时，还会生成一个write对象 -- unsafeshufflewrite对象 -- bypassMergesh
2021-10-28 19:31:21
665
原创 sqoop的全量导入和增量导入区别与应用
sqoop框架的全量导入和增量导入全量导入： 这就是将一张表的数据全部一次性导入到某一个文件夹下面，这种做法是一次性的，也就是说这个表之后不会做更新操作，否则更适合增量导入增量导入 第一次通常都是全部把数据导入到一个文件中，增量导入是指维护一个不会重复的key，以这个key为分界点，当表数据更新，就将更新的行再一次的导入到文件中，这样就可以实现数据库的更新从而引起文件的更新(注意:这里的引起是要手动操作的，或者通过定时器实现，或者shell脚本与azkaban这些调度工具实现)创建增量导入的j
2021-10-23 09:16:07
1791
原创 spark查看源码
如果用idea整合spark之后，想查看spark的有格式的源码，可以在项目的根目录的terminal中输入mvn dependency:resolve -Dclassifier=sources然后回车，在你要查看的地方 ctrl+鼠标左键就能查看有格式的源码了
2021-10-21 18:39:49
606
原创 hbase全重点面试题笔记
hbase的体系结构 client: 提供了访问hbase的各种接口 维护了一个缓存，缓存最近的访问记录，用来加快访问hbase zookeeper: 监控hMaster,保证有一个活跃的节点来管理整个集群 实时监控HregionServer的状态，并将其通知给HMaster 存储hbase的元数据信息，比如meta，meta-region-server表 HMaster 负责对region的切分，分配 负责regionServer的负载均衡 负责客户端的schema
2021-10-20 21:38:17
147
原创 spark-yarn提交流程
spark的yarn-client提交流程1. 在client端启动Driver进程，初始化作业，解析程序，初始化两个DAGScheduler，TaskScheduler. -- 初始化作业： 判断路径是否存在，权限校验等 -- DAGScheduler将程序的执行流程解析成DAG图，并划分阶段，根据阶段内的分区初始化Task -- TaskScheduler接收Task，等待分配Task给executor2. Driver会向ResourceManager,申请资源，想要启
2021-10-20 20:45:12
790
原创 spark篇之kv结构算子
spark中的算子调用：1.aggregateByKey算子def main(args : Array[String]):Unit={ val conf: SparkConf = new SparkConf().setMaster("local").setAppName("aggregateByKey") val sc: SparkContext = new SparkContext(conf) val rdd: RDD[(String, Int)] = sc.makeRDD(List(("
2021-10-20 20:41:15
224
原创 spark的yarn模式总结
spark的yarn模式下的client提交步骤1.在client启动driver进程，初始化作业，解析程序，初始化两个调度器DAGScheduler和TasksScheduler --初始化作业：用来判断路径是否正确，权限校验等 --DAGSchefuler会把程序解析成DAG有向无环图，在又宽算子依赖划分stage， 每个stage中又会划分tasks，在把task调度给TaskScheduler --TaskSchedular 把Tasks池中的task分配给executor来执行2.Dr
2021-10-16 11:31:00
393
原创 没事做之小笔记
1.hive的本地模式不是要数据库和hive服务器在同一台机器上，而是指hiveserver2和hive端在同一台机器上2.数据库修改密码操作 alter user root@localhost identified by '新密码' 注意：要先登录进mysql3.数据库改远程操控权限以及修改远程密码 grant all privileges on *.* to root@'%' identified by '新密码' 其中的*.*是任意库的任意表 root@'%'是匹配所有root权限的
2021-09-25 10:12:21
36
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人