- 博客(25)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 clickhouse 增加表属性
clickhouse 增加表属性ALTER TABLE [db].[table] ADD COLUMN [属性] [属性类型]加上 on CLUSTER [集群名称] 分布式表和本地表都执行一下
2022-04-26 16:27:38
1268
原创 Kafka如何消息不重复不丢失
类型消息是否会重复消息是否会丢失优势劣势使用场景最多一次否是生产端发送消息后不用等待和处理服务端响应，消息发送速度会很快网络或服务端有问题会造成消息的丢失消息系统吞吐量大且对消息的丢失不敏感。例如，日志收集、用户行为收集等场景最少一次是否生产端发送消息后需要等待和处理服务端响应，如果失败会重试吞吐量较低，有重复发送的消息消息系统吞吐量一般，但是绝不能丢消息，对于重复消息不敏感有且仅有一次否否消息不重复，消息不丢失，消息可靠性很好吞吐量较低...
2021-09-23 15:03:55
339
原创 FFmpeg常用操作指南 音视频处理神器
FFmpeg常用操作指南ffmpeg的下载视频格式转换视频剪裁视频提取音频视频转GIF音频与视频合并mov视频嵌入字幕（windows系统）视频水印的添加和删除ffmpeg的下载官网域名为：ffmpeg.org下载完成后把ffmpeg的bin目录加载到环境变量里视频格式转换终端命令：ffmpeg -i inpu.mp4 out.avi结果：自己可以尝试把mp4格式转换为mov格式视频剪裁终端命令ffmpeg -i input.mp4 -ss 00:00:05 -t 00:00:
2021-07-21 20:23:55
441
原创 Zookeeper的java客户端Curator
Zookeeper的java客户端Curator常见的zookeeper java API：Curator API 常用操作建立连接添加节点删除节点修改节点查询节点watch事件监听分布式锁实现常见的zookeeper java API：原生的java apiZkClientCurator高版本的Curator，兼容低版本的zookeeperCurator API 常用操作建立连接 @Before public void TestConnect() throws Exc
2021-06-22 18:46:44
286
原创 字符串与其它类型间的转换
1、toString()，可能会抛空指针异常在这种使用方法中，因为java.lang.Object类里已有public方法.toString()，所以java对象都可以调用此方法。但在使用时要注意，必须保证object不是null值，否则将抛出NullPointerException异常。采用这种方法时，通常派生类会覆盖Object里的toString()方法。2、String.valueOf()，推荐使用，返回字符串“null”String.valueOf()方法是推荐使用的，因为它不会出现空指针异
2021-06-22 08:40:52
773
原创 Java循环
Java中有三种主要的循环结构：while 循环public class whileDemo { public static void main(String[] args) { int x = 1; while (x<5){ System.out.println(x); x++; } }}while输出结果1234do…while 循环public cla
2021-05-19 23:52:16
79
原创 java字符串中的常用方法
public class string_demo { public static void main(String[] args) { String str1 = "qwe123"; String str2 = "asd456 ";//字符串中的常用方法// (1) 字符串的连接// public String concat(String str) String str3 = str2.concat( str1 );
2021-05-19 22:19:02
141
原创 azkaban使用root 连接数据库报错
报错：ERROR [MySQLDataSource] [Azkaban] Failed to find write-enabled DB connection. Wait 15 seconds and retry. No.Attempt = 7
2021-05-16 10:44:33
849
2
原创 Impala交互式查询工具
Impala交互式查询工具概述是什么Impala与Hive对比优势缺点适用场景安装安装Hadoop、Hive准备Impala所有依赖包安装Impala集群规划yum下载配置Impala配置hive-site.xml并分发创建短路读取本地中转站配置hdfs.xml并分发启动Hadpop集群引入HDFS、Hive配置impala自身配置修改bigtop的java_home路径消除影响启动Impalalinux123其他节点架构原理组件impaladstatestoredcatalogd查询流程优化负载均衡基本优
2021-05-12 12:07:43
1008
原创 配置hadoop历史服务器的日志
在Yarn中运行的任务产生的日志数据不能查看，为了查看程序的历史运行情况，需要配置历史日志服务器。配置历史服务器日志1 配置mapred-site.xmlvi mapred-site.xml<!-- 历史服务器端地址 --><property> <name>mapreduce.jobhistory.address</name> <value>linux121:10020</value></property>
2021-02-09 21:05:20
287
原创 Hadoop完全分布式集群搭建
@Hadoop完全分布式集群搭建Hadoop集群配置=HDFS集群配置+MapReduce集群配置+Yarn集群配置Hadoop集群配置=HDFS集群配置+MapReduce集群配置+Yarn集群配置1.HDFS集群配置（1）将JDK路径明确配置给HDFS（修改hadoop-env.sh）（2）指定NameNode节点以及数据存储目录（修改core-site.xml）（3）指定SecondaryNamenode节点（修改hdfs-site.xml）（4）指定DataNode从节点（修改/etc
2021-02-06 13:15:09
204
1
原创 虚拟机克隆与环境准备
一、 环境准备上传hadoop与jdk文件到相应文件夹1.在 /opt目录下创建文件夹mkdir -p /opt/crh/softwaremkdir -p /opt/crh/servers2.登录linux121节点；进入/opt/crh/software,解压安装文件到/opt/crh/serverstar -zxvf hadoop-2.9.2.tar.gz -C /opt/crh/serverstar -zxvf jdk-8u231-linux-x64.tar.gz /opt/crh/s
2021-02-05 21:59:31
156
原创 Centos7虚拟机NAT网络的配置（windows）
一 、设置虚拟机的网关1.cmd中查看ip我这里用的是vmnet8 需要一致2. VMware->编辑->虚拟网络编辑器3. 子网ip可不一样，但是要记住，点击1.NAT设置，记住下面的图。4. 点击2.DHCP设置，红框内代表等下能设置的ip的范围二、 虚拟机->设置->网络适配器->NAT模式三、 进入虚拟机修改ip1. 复制语句 到虚拟机打开文件vi /etc/sysconfig/network-scripts/ifcfg-ens33
2021-02-04 23:09:00
247
原创 Java的基本数据类型
（1）int：整形，4个字节，负21个多亿到正21个多亿（2）long：长整型，8个字节，很大（3）double：浮点型，8个字节，很大（4）boolean：布尔型，1个字节（5）char：字符型，2个字节1G = 1024M（兆）1M = 1024KB（千字节）1KB = 1024B（字节）1B = 8Bit（位）...
2021-01-14 16:37:41
101
1
原创 Pyppeteer自动测试框架
Pyppeteer的文档地址: https://miyakogi.github.io/pyppeteer/#安装首先就是安装问题了，由于 Pyppeteer 采用了 Python 的 async 机制，所以其运行要求的 Python 版本为 3.5 及以上。安装方式非常简单：pip3 install pyppeteer好了，安装完成之后我们命令行下测试下：import pyppeteer如果没有报错，那么就证明安装成功了。 python -c 'import pyppete
2020-12-21 18:32:21
419
原创 获取电商商品历史价格，echarts呈现，附上代码
前端页面使用的是开源layuimini框架（和这个博客所说的内容联系不大），后端采用flask框架。效果图主要的爬虫获取数据使用这个老哥写的博客上稍加改进的https://blog.csdn.net/gqv2009/article/details/86526194主要流程：1.前端输入商品url（京东淘宝小米华为等等商城）点击搜索（点击后前端页面会等待返回的数据并重新加载相关的div）2.后端接受商品url，爬虫获取商品数据，并清洗获取前30天商品价格日期和名称，保存为json文件。3.前端
2020-10-15 23:48:02
1857
2
原创 鲲鹏H13-111修改版题库pdf
链接:https://pan.baidu.com/s/1JcY1-Z5pB7eV-7D1URd4SQ 提取码:tvfj这上面的题都会的话就稳稳的了。满分一千分 ，六百分过。
2020-10-12 20:17:40
829
3
原创 splash启动页面出错 获取不到jquery官网的js
出错的页面比如在谷歌浏览器上是这样的：也就是说谷歌浏览器没有获取到jquery官网的js。**谷歌浏览器上解决方法：**设置、隐私设置和安全性、cookie及其它网站数据、添加jquery官网地址到始终能使用的cookie的网站。火狐浏览器上解决方法解决方法和谷歌的原理一样：设置完毕怎么检验是否成功呢 方法如下方法1.启动splash 查看是否加载jquery官网js方法2.浏览器直接输入请求的jquery js的地址(http://code.jquery.com/jque
2020-09-01 12:23:27
628
4
原创 django 写 web项目
环境:python 3.7.4django 2.2.6 (此版本生命周期长适合2020年和和2021年学习)环境搭建步骤在上一个博客1.first_project/init.pyimport pymysqlpymysql.install_as_MySQLdb()2.first_project/settings.py因为Django使用默认的是sqlite3，需要更改为my...
2020-01-15 22:22:36
260
原创 django在idea上创建项目
1.环境配置上个博客已说2.打开idea 设置环境出现 如图 则成功然后一路确定即可验证一下 如图确实有环境3.新建项目4.查看新建项目的目录cd到项目cd first_projecttree . /F如下图示项目目录文件说明：manage.py 命令行工具（可以使我们用多种方式对django项目进行交互）init.py 一个空文件（告诉P...
2020-01-13 22:37:02
664
1
原创 Django在windows下搭建环境
Django在windows下搭建环境1.安装virtualenv进入cmd界面，运行“ pip install virtualenv ”2.建立虚拟环境virtualenv -p C:\Users\lenovo\AppData\Local\Programs\Python\Python37-32\pythonw.exe --no-site-packages d:\Python_virtua...
2020-01-13 20:08:13
212
原创 爬虫惯用的两种解析方法xpath和BeautifulSoup 的案例
爬虫惯用的两种解析方法xpath和BeautifulSoup 的案例要爬取的网站为一个外国网站 （侵删）xpath解析方法import requestsfrom lxml import etreeimport jsonclass BookSider(object): def __init__(self): self.base_url = "http://ww...
2019-10-06 14:01:43
580
5
鲲鹏H13-111鲲鹏应用开发修改版题库.pdf
2020-10-16
北京租房数据 五千条无重复
2020-09-14
北京租房数据 五千条 utf-8格式
2020-05-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人