- 博客(26)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 spark streaming调优
防止流量激增，导致程序过载关于流量激增，可以通过设置Spark Streaming Backpressure。反压机制（back-pressure）,通过动态控制数据接收速率来适配集群数据处理能力。属性“spark.streaming.backpressure.enabled”来控制是否启用backpressure机制，默认值false，即不启用。 sparkConf.set("spark....
2020-03-10 15:44:01
649
原创 python连接redis哨兵集群
SENTINEADDRESS = [(‘ip1’, 26379), (‘ip2’, 26378), (‘ip3’, 26377)]上面的内容，请根据自己的环境进行修改import redisfrom redis import WatchErrorfrom redis.sentinel import Sentinelfrom redis import WatchErrorMYSETIN...
2019-12-26 16:08:34
1753
转载 hive,redis杂记
陆续归纳，整理1.hive优化1.1建表优化建表语句demo,存储格式为ORC,并且设置索引，*“orc.bloom.filter.columns”=“distinct_id”,*这一句的意思是 把 distinct_id这一列作为索引。参考链接：ORC原理及查询优化create table if not exists test.cust_events(event string,u...
2019-12-26 15:43:51
673
原创 使用jdbc连接带kerberos认证的hive
在处理这个问题的过程，遇到几个问题：HADOOP_HOME or hadoop.home.dir are not set出现这个问题是代码运行的环境没有设置环境变量HADOOP_HOME 或者指定 hadoop.home.dir，如果是在windoss上运行，远程连接linux服务器的，应该在windos上设置环境变量$HADOOP_HOME,在path中添加Hadoop的bin目录 。具体...
2019-12-26 15:13:53
7277
2
原创 合并多个excel表中相同sheet的数据
合并多个excel表中相同sheet的数据欢迎使用Markdown编辑器新的改变合理的创建标题，有助于目录的生成如何改变文本的样式合并多个excel表中相同sheet的数据欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对M...
2019-11-18 16:27:06
3220
转载 PL/SQL基础之DECLARE部分（整理）
因为SQL只能访问、操作数据库，却不能进行程序设计，而Oracle PL/SQL是一种高级数据库程序设计语言，该语言专门用于对ORACLE数据库进行访问，并且可以进行过程处理。*注:在 PL/SQL中只能用 SQL语句中的 DML 部分，不能用 DDL 部分，如果要在PL/SQL中使用DDL(如CREATE table 等)的话，只能以动态的方式来使用。* *1. DML（data manipulation language）数据操纵语言：比如SELECT、UPDATE、INSERT、DELETE
2019-08-28 15:31:01
5813
原创 java判断字符串是否为浮点数或者整数，判断用户名
判读是否为浮点数public static boolean isInteger(String str) { if (str.length()==0||str==null) { return false; } Pattern pattern = Pattern.compile("^[-\\+]?([1-9]\\d*.\\d*|0\\.\\d*[1-9]\\d*)"); re...
2019-04-16 10:52:29
3113
原创 java调用cmd打开64位程序（windows下）
java调用cmd打开64位程序利用Runtime取得实例后，CMD命令+目录就OK了。 public static void main(String[] args) throws IOException { Runtime.getRuntime().exec("cmd.exe /c "+ " start C:\\Users\\kzx\\Desktop\\委托交易.ln...
2019-04-11 14:29:54
1224
转载 数据库面试总结
DataBase象集R中属性X上值为x的诸元组在Z上的分量集合R为元组1元组2x1Z1x2Z2x1Z3x2Z4x1的象集是{Z1,Z3}，x2的象集是{Z2,Z3}选择σcondition(table)\sigma_{condition}(table)σcondition(table)信息系的学生σdepartment=′IS′...
2019-03-19 11:23:25
165
原创 给定一个 n 元一次方程组，求方程组的解。(java8)
问题：输入测试数据只有一组。第一行为整数 n (1≤n≤26)，表示方程组有 n 元，接下去 n 行为方程。第 2 到 n+1 行为方程组。并且方程的格式按以下的格式规定：方程中的变量为大写的字母 A-Z，也就是说，最多有 26 个变量。 方程中只有字母，整数，+ 号，- 号，= 号，没有多余的空格。 每个方程中至少有一个变量，相同的变量不会重复出现。 每个方程中有且只有...
2019-02-25 15:38:34
3719
原创 在ubuntu上，对idea进行配置 maven（使用阿里云的maven仓库来解决下载慢）
一、下载mavenapache maven官网地址：http://maven.apache.org/download.cgi二、安装配置maven进入该文件目录解压maven：sudo tar zxvf apache-maven-3.6.0-bin.tar.gz -C /opt/配置maven环境变量：sudo vim ~/.bashrc在文本最后加入以下几句：exp...
2019-01-19 21:23:14
1453
转载 IntelliJ Idea 常用快捷键
1. 自动代码常用的有fori/sout/psvm+Tab即可生成循环、System.out、main方法等boilerplate样板代码例如要输入for(User user : users)只需输入user.for+Tab再比如，要输入Date birthday = user.getBirthday();只需输入user.getBirthday().var+Tab即可。代码标签输入完成后，...
2019-01-19 11:49:42
257
原创 双系统下 删除 ubuntu
不能直接通过 磁盘管理 删除 ubuntu的分区不能直接通过 磁盘管理 删除 ubuntu的分区不能直接通过 磁盘管理 删除 ubuntu的分区正常情况：下载MBRFix工具（自己百度下载），放在c盘，利用命令提示符，进入软件所在目录，cd c:\mbrfix (cd后面一个空格)2.输入 MBRFix /drive 0 fixmbr /yes3.重启，发现直接进入Win 10，现在可...
2018-12-30 11:43:16
1754
原创 ubuntu18.04，win10在双硬盘（UEFI+GPT）下安装双系统
前言：1、Secure Boot：安全启动，只可以启动Win8及以上系统，不能启动其他系统（包括USB、Linux）等。2、UEFI：全称“统一的可扩展固件接口”(Unified Extensible Firmware Interface)， 是一种详细描述类型接口的标准。是一种全新的启动方式，一般较新的电脑都带这种启动方式，通常出厂预装Win10的系统是默认以这种方式启动的（有些USB启动盘...
2018-12-30 11:32:34
1157
1
转载 mysql备份与还原操作手册（.sql文件操作指南）
转载自： https://yq.aliyun.com/articles/626120?utm_content=m_1000026933一、备份常用操作基本命令1、备份命令mysqldump格式格式：mysqldump -h主机名 -P端口 -u用户名 -p密码 –database 数据库名 > 文件名.sql2、备份MySQL数据库为带删除表的格式备份MySQL数据库为带删除表...
2018-12-29 12:59:58
865
原创 用javascript实现3d（水平或者垂直方向）展示物品
实现这样的效果，其原理和拍电影一样，就是一帧一帧连续起来，只不过电影是自己一直在放映，而我们的“电影”（展示的物体）是要用户自己通过鼠标的拖动来实现“放映”。 准备工作，首先需要一个物体的模型，然后把这个物体沿需求方向，进行360度截图。图片最好大于60张，图片越多，拖动起来越顺滑。（我很懒，粗略地截了53张。）上代码：css:body {margin:0;}img ...
2018-04-03 18:38:13
4453
原创 web前端基础-给td设置宽度
在实际需求中，经常遇到要在table中的td中，让用户输入比较长的字符串，这时就要使td的宽度能较大。在WEB前端中，对于 表格元素中的元素td 直接设置宽度是无法生效的。要想达到给td设置宽度的目地。1.首先给 table 标签 添加 css : table-layout:fixed;这里是为了让整个table有一个自己宽度，而不是让table自己随着自己内容的大小而改变。2.给table标签...
2018-03-30 19:57:13
24198
原创 python基础--零散知识点
1.生成器假设一个列表的存有 数量很大的元素,但是在每一次运行时,通常只调用前面几个元素,这时为了优化,可以采用生成器.isList = [x * x for x in range(10)]print(isList) # 结果[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]isGenerator = (x * x for x in range(10))print(...
2018-03-28 19:50:03
253
转载 关于centos6上用yum安装mysql后，出现的ERROR 2002 (HY000)的解决办法
我在centos上用 yum install mysql，安装后出现ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock'。随后我谷歌了一下，有人说是mysql-server没有装上，然后我就运行yum intsall mysql-server;然额并没有什...
2018-03-28 19:41:58
1407
原创 python基础--装饰器
装饰器,正如所描述的 就是为了给别的函数进行装饰(添加新的功能),其本来也是函数.软件开发中的一个原则“开放-封闭”原则，简单来说，它规定已经实现的功能代码不允许被修改，但可以被扩展.装饰器在这时候就派的上.def traet(character_traet): # 把要执行的模块从这里传进来 def inner(*args, **kwargs): ...
2018-03-28 19:38:41
182
原创 python基础--字符串基本操作
string = 'kzx TruthK'<br>string.capitalize() # 首字母大写string.casefold() # 大写全部变小写string.center(50, "-") # 输出 '---------------------kzx TruthK----------------------'string.count('kzx')...
2018-03-28 19:37:10
332
原创 python3基础--列表和字典的基本操作
列表name = ['kzx', '666', 'none', 'truth']# 截取print(name[1: 3]) # 取下标1到3的元素(含下标1的元素,但是不包含3的)['666', 'none']print(name[1:-1]) # 也是取下标1到-1(即下标3)的元素(含下标1的元素,但是不包含-1的)['666', 'none']print(name[0...
2018-03-28 19:34:41
1104
原创 python3的switch case
第一次学习python,发现python3没有switch case ，查看了有关资料，在不涉及class的下，有用if ... elif......elif.....else的 还有用 map的 所以在这里我采用了map的方法。card=[]def fun1(): #往card中添加元素 name=input(">>>") card.append(na...
2017-11-18 10:51:40
21290
2
apache-storm-0.9.6.tar.gz
2018-03-28
kafka_2.11-0.10.1.0.tgz
2017-10-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人