- 博客(40)
- 收藏
- 关注
RSS订阅原创 MAC上搭建flink单机版
使用brew指令安装brew使用以下指令一键安装brew/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"然后跟着提示走就行了 开始执行Brew自动安装程序 [cunkai.wang@foxmail.com] [2020-08-28 11:26:26][10.15] https://zhuanlan.zhihu.c
2020-08-28 14:31:36
901
原创 sql中interval用法总结
interval作为函数时当interval作为一个函数时，它被当做一个比较函数，即interval()，如interval(4,0,1,2,3,4,5,6)，则在函数中，第一个数4作为被比较数，后面的0,1,2,3,4,5,6为比较数，然后将后面的数字依次与4进行比较，返回小于等于4的个数，所以上述结果为5，注意，只有将4后面的数字从小到大进行排列，interval函数才能正常使用，若排序混乱，可以使用，但会影响最终结果。interval作为关键字时当interval作为一个关键字时，表示为时间间隔
2020-07-20 17:10:03
39767
1
原创 sql语句中group by与case when的结合使用
有这么一个表Price，用来描述每天每种产品售出的金额，具体内容如表1.1所示，其中date字段代表日期，type字段表示产品类型，price字段表示产品售出金额。datetypeprice2020-07-13033.302020-07-13020.002020-07-12121.002020-07-13154.002020-07-12111.002020-07-12030.00现要做一个统计，统计每天每种产品类型的总售出
2020-07-14 09:48:30
9785
原创 本地elasticsearch-head插件的安装与使用
上一篇谈到在Ubuntu16.04中安装elasticsearch，这一篇我们来谈谈如何在本地机器中安装elasticsearch-head插件，进行ES可视化管理环境配置Node JS版本：10.16.0虚拟机中已经安装好elasticsearch，版本：5.6.8安装elasticsearch-head安装NodeJSelasticsearch-head 是在nodejs环境下...
2020-04-10 01:35:29
681
原创 Ubuntu16.04离线安装Elasticsearch（单机版）
软件配置Ubuntu版本：16.04jdk版本：1.8.0_211Elasticsearch版本：5.6.8新建elasticsearch用户创建用户在root用户下执行下述命令useradd elasticsearch设置密码passwd elasticsearch根据提示输入两次密码，新用户便创建完成jdk安装elasticsearch环境依赖jdk，因此启动e...
2020-04-09 11:16:47
800
原创 Ubuntu16.04离线安装redis（单机版）
本教程适用于linux系统无法联网的情况，并且是在root用户下进行安装配置的软件配置Ubuntu版本：16.04Redis版本：4.0.2安装教程判断linux系统中是否有gcc环境在命令行中输入gcc --versiong++ --version若出现以下的提示，则表示linux系统暂未有gcc环境The program 'gcc' is currently not...
2020-04-08 21:27:59
3643
原创 Scala基础
REPLScala解释器读到一个表达式，对它进行求值，将它打印出来，接着再继续下一个表达式。这个过程被称作“读取-求值-打印”循环（read-eval-print loop），即REPLvar和val的区别var是一个可变变量，是一个可以通过重新分配来更改为另一个值的变量。这种声明变量的方式和java中声明变量的方式一样。val是一个只读变量，这种声明变量的方式相当于java中的fina...
2020-03-14 18:19:37
165
原创 python爬虫简单实例-爬取17K小说网小说
什么是网络爬虫?网络爬虫（Web Spider），又被称为网页蜘蛛，是一种按照一定的规则，自动地抓取网站信息的程序或者脚本。爬虫流程先由urllib的request打开Url得到网页html文档浏览器打开网页源代码分析元素节点通过Beautiful Soup或者正则表达式提取想要的数据存储数据到本地磁盘或数据库（抓取，分析，存储）简单实例爬取17K小说网（https://www...
2020-03-01 14:24:43
2502
2
原创 Hadoop Streaming多路输出
上一章说到，Hadoop Streaming能使用任何编程语言编写MR程序，使MR计算框架不再拘泥于Java这一单独的语言，但是这也有一定的局限性，比如说Hadoop Streaming需要有该编程语言的标准输入输出，对多路输出不够友好。一般reduce输出的文件格式为：part-00000,part-00001…，文件个数为reduce的任务个数。但是有时候我们需要用到多路输出的需求，比如输出...
2019-09-23 16:51:14
655
原创 Hadoop Streaming详解
刚来公司的时候就发现大家都在使用Hadoop Streaming 来执行任务，当时还在想名字里有Streaming，Hadoop也拿来做实时计算工具了吗？后来发现原来只是我学得太少，对编程工具的理解太片面了。那么接下来就来看看什么是Hadoop Streaming，为什么要使用Hadoop Streaming、Hadoop Streaming的原理以及怎么使用Hadoop Streaming。...
2019-09-22 02:12:59
1088
原创 Python学习笔记07
convert_types.py 脚本中保存了一个列表，列表中存放的是pv行为，如：[‘离线动作-列表页-到这里去 1’,‘离线动作-图区-搜周边 2’,‘离线动作-图区-到这里去 1’…]今天想要将 convert_types.py 里的pv行为全部都放在excel表里，行为名称和行为编号分开存放，于是使用pandas 中的dataframe结构存放数据，再将dataframe的数据写入exc...
2019-08-12 23:49:07
189
原创 Python学习笔记06
Python JSONJSON函数使用 JSON 函数需要导入 json 库：import jsonjson.dumps:将 Python 对象编码成 JSON 字符串json.loads:将已编码的 JSON 字符串解码为 Python 对象encode:将 Python 对象编码成 JSON 字符串decode:将已编码的 JSON 字符串解码为 Python 对象json....
2019-08-05 22:17:49
122
原创 Python学习笔记05
正则表达式re.match函数re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。re.match(pattern, string, flags=0)pattern：匹配的正则表达式string：要匹配的字符串。flags：标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。匹配成功re.matc...
2019-08-04 15:54:16
129
原创 Python学习笔记04
datetime模块其实就是date和time 模块的结合， 常见的属性方法都比较常用比如：datetime.day,datetime.month,datetime.year 分别表示一个datetime对象的日，月，年from datetime import datetimedt=datetime.now() #创建一个datetime类对象print dt.year,dt.mont...
2019-08-02 23:21:14
103
原创 Python学习笔记03
判断python字典中key是否存在的两种方法使用自带函数实现python的字典的属性方法里面有一个has_key()方法，可以直接判断字典中是否有某个key>>> dic = {"name":"duanmuxu", "sex":"male"}>>> dic.has_key("name")True>>> dic.has_key("a...
2019-08-01 22:45:31
139
原创 Python学习笔记02
strip()方法strip() 方法用于移除字符串头尾指定的字符（默认为空格或换行符）或字符序列。该方法只能删除开头或是结尾的字符，不能删除中间部分的字符。>>> x="01013434343430101010">>> x.strip('01')'343434343'>>> x.strip('014')'343434343'&...
2019-07-31 23:31:47
129
原创 Python学习笔记01
Python头部 #!/usr/bin/python和 #!/usr/bin/env python 的区别#!/usr/bin/env python这样声明的时候，会去取你机器的 PATH 中指定的第一个 python 来执行你的脚本。#!/usr/bin/python表示写死了就是要 /usr/bin/python 这个目录下 python 来执行你的脚本。这样写程序的可移植性就差了...
2019-07-31 00:05:32
132
原创 Shell学习11：Shell小记
echo -e 参数若echo的字符串参数中出现以下字符，则特别加以处理，而不会将它当成一般文字输出：\a 发出警告声； \b 删除前一个字符； \c 最后不加上换行符号； \f 换行但光标仍旧停留在原来的位置； \n 换行且光标移至行首； \r 光标移至行首，但不换行； \t 插入tab； \v 与\f相同； \ 插入\字符； \nnn 插入nnn（八进制）所代表的ASCI...
2019-06-30 17:12:07
300
原创 Shell学习10：输入、输出重定向
大多数 UNIX 系统命令从你的终端接受输入并将所产生的输出发送回到你的终端。一个命令通常从一个叫标准输入的地方读取输入，默认情况下，这恰好是你的终端。同样，一个命令通常将其输出写入到标准输出，默认情况下，这也是你的终端。重定向命令列表命令说明command > file将输出重定向到 filecommand < file将输入重定向到 file...
2019-06-30 16:28:21
124
原创 Shell学习09：函数
概述shell 中可以用户定义函数，然后在shell脚本中可以随便调用。函数定义格式：[ function ] funname [()]{ action; [return int;]}可以带function fun() 定义，也可以直接fun() 定义,不带任何参数参数返回，可以显示加：return 返回，如果不加，将以最后一条命令运行结果，作为返回值。 ...
2019-06-30 11:59:13
109
原创 Shell学习08：流程控制
shell中的流程控制不能为空if elseif 语句格式if conditionthen command1 command2 ... commandN fi写成一行的形式，除了最后一个fi，每个语句后面都需要加上 ;进行语句分割，否则会报错if [ "lop" = "lop" ]; then echo "true"; fiif else 语句...
2019-06-30 11:34:30
92
原创 Shell学习07：read、echo和printf命令
readread 命令用于一个一个词组地接收输入的参数，每个词组需要使用空格进行分隔；如果输入的词组个数大于需要的参数个数，则多出的词组将被作为整体为最后一个参数接收。实例及参数说明：# 脚本 test.sh 内容read firstStr secondStrecho "第一个参数:${firstStr} 第二个参数:${secondStr}"# 执行脚本 test.shsh ...
2019-06-30 00:49:01
259
原创 Shell学习06：运算符汇总
数学运算原生bash不支持直接的数学运算# 若直接执行以下脚本#！ /bin/bashvar=$(3 + 4)echo "两数之和为${var}"# 执行脚本，得到下面报错信息command not found虽然不支持直接的数学运算，但是可以通过命令来实现数学运算。通常使用expr 命令来进行数学运算，expr 是一款表达式计算工具，使用它能完成表达式的求值操作。# 执行...
2019-06-29 00:04:11
101
原创 Shell学习05：参数传递
概述执行脚本时，可以向脚本里面传递参数，脚本可以根据传递的参数进行进一步操作。脚本内获取参数的格式为：$n。n代表一个数字，比如 $1 表示传进来的第一个参数，$2 表示传进来的第二个参数，以此类推。实例创建脚本并添加内容touch chuancan.shvim chuancan.sh#!/bin/bashecho "Shell 传递参数";echo "执行的文件名：$0";...
2019-06-26 23:47:29
197
原创 Shell学习04：Shell数据类型
字符串字符串引用Shell中引用字符串可以使用双引号，也可以使用单引号，也可以不使用引号。双引号最常使用的引用形式就是加双引号str="test"echo "quote \"$str\""使用双引号的优点：双引号里可以有变量双引号里可以出现转义字符单引号str='this is a string'使用单引号有所限制：在echo命令下，单引号里的任何字符都会原样输...
2019-06-25 10:20:16
817
原创 Shell学习03：expect实现自动输入密码登录服务器
我们通过Shell脚本可以实现简单的控制流功能，比如说循环、判断、对本地文件进行一些简单的操作、输入输出写日志等，但都是对于本地机器而言进行的操作。那么当我们需要在一台机器上操作另一台机器时，那该怎么办呢？expect就是用来实现这种交互功能的工具。expect介绍expect是Unix系统中用来进行自动化控制和测试的软件工具，作为Tcl脚本语言的一个扩展，应用在交互式软件中如telnet，...
2019-06-20 23:16:15
465
原创 Shell学习02：Shell变量
定义变量定义变量时，变量名不加美元符号($)，并且变量名和等号中不能有空格。如：tempVar="variable"同时，变量名的命令规则如下：命名只能使用英文字母，数字和下划线，首个字符不能以数字开头中间不能有空格，可以使用下划线 _不能使用标点符号不能使用bash里的关键字（可用 compgen -k 命令查看保留关键字）。使用变量使用一个定义过的变量，只要在变量名前面...
2019-06-19 21:22:17
95
原创 Shell学习01：创建和执行脚本文件
新建Shell脚本进入一个你想要放脚本文件的目录。执行# 直接新建脚本文件并进入编辑vim ShellTest.sh # 或者# 先新建脚本文件，再进入编辑页面touch ShellTest.sh vim ShellTest.sh 在脚本文件编辑页面中放入#!/bin/bashecho "Hello World !"#! 是一个约定的标记，它告诉系统这个脚本需要什...
2019-06-18 16:17:32
6231
原创 Storm学习02：八种grouping分组策略
简述为拓扑中的每个 Bolt 的确定输入数据流是定义一个拓扑的重要环节。数据流分组定义了在 Bolt 的不同任务（tasks）中划分数据流的方式。在 Storm 中有八种内置的数据流分组方式，而且还可以通过 CustomStreamGrouping接口实现自定义的数据流分组模型。（所以总共可以算是九种分组方式）具体分组这八种分组分时分别为：Shuffle grouping：随机分组。...
2019-06-11 16:24:09
1338
原创 Storm学习01：Storm简介
什么是StormApache Storm是Apache与基金会的开源的分布式实时计算系统。与Hadoop的批处理相类似，Storm可以对大量的数据流进行可靠的实时处理，这一过程也称为“流式处理”，是分布式大数据处理的一个重要方向。Storm支持多种类型的应用，包括：实时分析、在线机器学习、连续计算、分布式 RPC（ DRPC）、ETL等。Strom的一个重要特点就是“快速”的数据处理，有benc...
2019-06-11 16:24:01
176
原创 Ambari集群搭建（HDP离线安装版）
安装环境部署使用版本Ubuntu：ubuntu-16.04.6-server-amd64Ambari：ambari-2.5.0.3-ubuntu16HDP：HDP-2.6.0.3-ubuntu16HDP-UTILS：HDP-UTILS-1.1.0.21-ubuntu16设置每台主机的host首先修改每一台主机的hostname输入命令：vim /etc/hostname命...
2019-06-04 16:11:29
2812
11
原创 LeetCode:Single Number 找出数组中的单一数字
题目描述：Given a non-empty array of integers, every element appears twice except for one. Find that single one.给定一个非空的整数数组，除了一个元素外，每个元素都会出现两次。找出那个单一的整数。最常规的思路就是进行循环，统计出现的数字，只出现一次的就是我们要的答案了for循环统计数字出...
2019-06-02 12:55:34
290
原创 SQL语句——对所有员工的薪水按照salary进行按照1-N的排名
题目描述对所有员工的当前(to_date=‘9999-01-01’)薪水按照salary进行按照1-N的排名，相同salary并列且按照emp_no升序排列建表语句：CREATE TABLE `salaries` (`emp_no` int(11) NOT NULL,`salary` int(11) NOT NULL,`from_date` date NOT NULL,`to_d...
2019-05-22 16:08:11
3128
原创 剑指Offer——反转链表
题目描述输入一个链表，反转链表后，输出新链表的表头。最开始的思路是保存链表中的每一个值到一个数组中，然后逆序输出到新链表中，暴力反转链表。实现如下：class Solution { public ListNode ReverseList(ListNode head) { ArrayList<Integer> array = new ArrayList&...
2019-05-20 17:45:35
85
原创 PAT乙级(Basic Level)真题——福尔摩斯的约会（代码详解）
题目描述大侦探福尔摩斯接到一张奇怪的字条：“我们约会吧！ 3485djDkxh4hhGE 2984akDfkkkkggEdsb s&hgsfdk d&Hyscvnm”。大侦探很快就明白了，字条上奇怪的乱码实际上就是约会的时间“星期四 14:04”，因为前面两字符串中第1对相同的大写英文字母（大小写有区分）是第4个字母’D’，代表星期四；第2对相同的字符是’E’，那是第5个英文字...
2019-05-17 13:56:36
382
原创 LeetCode20-Valid Parentheses 括号匹配消除
题目描述：Given a string containing just the characters ‘(’, ‘)’, ‘{’, ‘}’, ‘[’ and ‘]’, determine if the input string is valid.An input string is valid if:Open brackets must be closed by the same typ...
2019-05-16 15:58:45
152
原创 使用MultipleOutputs方法将mapreduce分组输出
使用MultipleOutputs方法将mapreduce分组输出MapReduce是我们再进行离线大数据处理的时候经常要使用的计算模型，MapReduce的计算过程被封装的很好，我们只用通过使用Map和Reduce函数，再定义输入输出就能得到我们想要的结果。不过一般Map Reduce的输出只包含一个可视化输出文件（如下图part-r-00000文件），那么我们如果需要将这一个输出文件分为多个...
2019-05-13 22:15:56
243
原创 剑指Offer中关于斐波那契数列的分析和运用
我们先来看一下什么是斐波那契数列，这个应该在大一高数时大家都学过。斐波那契数列（Fibonacci sequence），又称黄金分割数列、因数学家列昂纳多·斐波那契（Leonardoda Fibonacci）以兔子繁殖为例子而引入，故又称为“兔子数列”，指的是这样一个数列：1、1、2、3、5、8、13、21、34、……在数学上，斐波纳契数列以如下被以递推的方法定义：F(1)=1，F(2)=1,...
2019-04-06 22:19:13
166
原创 两个字符串中含有几个相同字符的几种解法
最近为了暑期实习面试开始复习数据结构与算法，作为一个大三的软件工程的学生，在大三下学期才开始接触算法练习平台，真够不好意思的。进入正题，题目如下：You’re given strings J representing the types of stones that are jewels, and S representing the stones you have. Each chara...
2019-03-17 21:29:33
14319
4
原创 往微信图文中插入外链视频的方法（包含几种失败方法）
往微信图文中插入外链视频的方法（包含几种失败方法）几种不同方法最常见方法失败方法一：下载视频上传后台利用windows 系统命令行对视频缓存的合成及转换检查网页元素进行视频捕捉和保存手机端UC浏览器进行视频保存成功方法查找浏览器视频元素几种不同方法最常见方法我们平时转发图文时，往往转发的图文中会带有视频，一般的解决方法就是在浏览器中打开腾讯视频，找到原图文中的原视频，然后进行分享复制链接，...
2019-03-10 20:57:32
6385
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人