自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 A master URL must be set in your configuration

IDEA中运行spark程序遇到异常“org.apache.spark.SparkException: A master URL must be set in your configuration” 解决方法: 在“Edit Configurations”中配置一下VM options,“-D...

2020-01-30 20:34:10

阅读数 21

评论数 0

原创 Nginx的启动和关闭

1、启动nginx /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf 其中/usr/local/nginx是nginx安装目录 /usr/local/nginx/conf/nginx.conf是nginx配置文...

2020-01-16 22:29:34

阅读数 11

评论数 0

原创 Vue项目结构

(1) Build:项目构建(webpack)相关代码,存放项目构建脚本 (2) config:配置目录,存放项目的一些基本配置信息,最常用的就是端口转发 (3) node_modules:npm加载的项目依赖模块,这个目录存放的是项目的所有依赖,即 npm install 命令下载下来的文件...

2020-01-01 23:27:11

阅读数 25

评论数 0

原创 查看Zookeeper版本

echo stat|nc localhost 2181

2019-12-27 12:27:50

阅读数 17

评论数 0

原创 Spark写数据到HBase

import org.apache.hadoop.hbase.client.{Put, Result} import org.apache.hadoop.hbase.io.ImmutableBytesWritable import org.apache.hadoop.hbase.mapreduce...

2019-12-11 22:50:11

阅读数 8

评论数 0

原创 MySQL允许远程登录

1、示例 用户名: root 密码:Abcd%12345 2、允许远程登录 grant all privileges on *.* to 'root'@'%' identified by 'Abcd%12345' w...

2019-12-11 16:54:31

阅读数 7

评论数 0

原创 URL传递中文参数转码问题

一、URL示例 http://111.222.333.444/test/getInfo?name=张三&age=18 二、解决中文乱码 1、设置request的字符编码方式 request.setCharacterEncoding("UTF-8"); ...

2019-12-11 16:37:32

阅读数 11

评论数 0

原创 Java带json的post请求

HttpURLConnection conn=null; try{ String strUrl="http://172.18.8.192:8000/trainAndPredict/"; URL url=new UR...

2019-12-11 12:41:32

阅读数 5

评论数 0

原创 Hadoop查看snappy压缩文件

hadoop fs -D io.compression.codec.snappy.native=true -text /data/test/part-00000.snappy |head -10

2019-12-10 09:47:10

阅读数 17

评论数 0

原创 启动和退出hive

一、启动hive hive (在hive的bin目录下执行) 二、退出hive (1)quit退出hive,推荐 hive>quit; (2)exit退出hive hive> exit; (exit会影响之前的使用,...

2019-12-08 19:12:49

阅读数 33

评论数 0

原创 firewalld防火墙命令

1.安装防火墙 yum install firewalld firewalld-config 2.查看防火墙状态 systemctl status firewalld 3.开启防火墙 systemctl start firewalld 4.关闭防火墙 ...

2019-12-08 18:52:40

阅读数 17

评论数 0

原创 提交运行spark程序

#!/bin/bash #当前日期 nowDate=`date +%Y%m%d/%H:%M:%S` echo "执行时间:${nowDate}" #当前目录 baseDir=$(cd `dirname $0`;pwd) echo "当前目录:${baseDir}&...

2019-12-08 14:20:35

阅读数 9

评论数 0

原创 HBase表基本操作

一、启动、关闭HBase 启动hbase start-hbase.sh 关闭habse stop-hbase.sh 二、基本概念 table: 表 columnFamily:列族        表下可以有多个列族,但不建议设置多个列族,HBase建议设...

2019-12-07 22:06:06

阅读数 23

评论数 0

原创 MySQL查询表结果插入另一张表

查询b表数据,然后插入a表 1、表结构一样 insert into a select * from b; 2、表结构不一样 insert into a (name,age,address) select user_name,user_age,user_address from b; ...

2019-11-29 12:49:43

阅读数 8

评论数 0

原创 Spark中如何使saveAsTextFile只生成一个文件

一般来说,saveAsTextFile是根据执行task的数量生成相应个数的结果文件,例如part-00000一直到part-0000n,n是task的个数,也是最后stage的分区数。 要使最后的结果只生成一个文件,可以调用coalesce(1,true)或reparation(1)。...

2019-11-25 15:58:02

阅读数 47

评论数 0

原创 Spark查询Hive表

Scala版本:2.10 Spark版本:1.6.0 1、引入依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.10<...

2019-11-25 15:01:29

阅读数 14

评论数 0

原创 rsync同步文件、目录

1、从111.222.333.444同步文件test.log到555.666.777.888的/tmp目录 rsync test.log 555.666.777.888:/tmp/ 2、从111.222.333.444同步目录/data/hive到555.666.777.888的/tm...

2019-11-24 10:18:36

阅读数 11

评论数 0

原创 退出spark-shell

退出命令 :quit

2019-11-24 09:56:08

阅读数 49

评论数 0

原创 yum更新软件源

1.清空软件源 yum clean all 2、建立源数据缓存 yum makecache 3、更新系统以及内核 yum upgrade

2019-11-23 23:30:04

阅读数 46

评论数 0

原创 Hadoop所有dataNode信息为0

其中之一可能是防火墙问题,关闭防火墙 systemctl stop firewalld

2019-11-23 22:51:36

阅读数 8

评论数 1

原创 awk打印列数

1、打印每一行的列数 awk -F '\t' '{print NF,$0}' test.log

2019-11-20 16:53:47

阅读数 17

评论数 0

原创 SparkSQL简单示例

Scala版本:Scala version 2.10.5 Spark版本:Spark version2.1.0 import org.apache.spark.sql.SQLContext import org.apache.spark.{SparkConf, SparkContext} ...

2019-11-19 17:52:33

阅读数 8

评论数 0

原创 rsync免密同步文件

从111.222.333.444同步文件/data/test.log文件到555.666.777.888的/tmp/all目录下 1、修改555.666.777.888的/etc/rsyncd.conf文件,添加 [data_rsync_dir] path=/tmp/all ...

2019-11-18 16:29:19

阅读数 7

评论数 0

原创 获取select标签选中的value、text

1、获取select的value值 $('#text').val() 2、获取select的text值 $('#text').find("option:selected").val()

2019-11-18 09:59:45

阅读数 13

评论数 0

原创 Yarn查看jobs日志

yarn logs -applicationId application_1553888952013_341399 > yarn.log

2019-11-14 12:02:07

阅读数 25

评论数 0

原创 SpringBoot打印HttpServletRequest的所有参数

Map<String, String[]> map = request.getParameterMap(); Set<Map.Entry<String, String[]>> keys = map.entrySet(); Iterator<Map.Entr...

2019-11-14 11:19:40

阅读数 4

评论数 0

原创 Linux永久修改主机名

1、临时修改主机名--hostname命令 如修改主机名为“master”,hostname master (临时修改,机器重新启动后会恢复原来的值) 2、永久修改主机名--修改/etc/sysconfig/network文件 vim命令修改network文件内容,如“HOSTNAME=m...

2019-11-12 17:20:00

阅读数 63

评论数 0

原创 Mysql常用字符串函数

1、concat(s1,s2,...) 返回连接参数产生的字符串,一个或多个待拼接的内容,任意一个为NULL则返回值为NULL。 2、concat_ws(x,s1,s2,...) 返回多个字符串拼接之后的字符串,每个字符串之间有一个x。 3、substring(s,n,len)、mid(s...

2019-11-05 11:15:22

阅读数 3

评论数 0

原创 Scala判断本地文件路径存不存在

val path="F:\\test\\one.txt" val file=new File(path) //如果文件存在 if(file.exists()) { println("存在!") }else{ ...

2019-10-31 16:22:47

阅读数 246

评论数 0

原创 前端页面获取后台Controller的Model传值

@RequestMapping(value = "/test") public String test(HttpServletRequest request, Model model) { String userName="用户名"; model....

2019-10-29 15:21:35

阅读数 180

评论数 0

原创 Shell中Map用法

声明Map declare -A testMap 赋值 testMap[“one”]=“001” testMap[“two”]=“002” testMap[“three”]=“003” 输出 输出值    ${testMap[“two”]} 输出key    ${!testMap...

2019-09-20 18:59:30

阅读数 17

评论数 0

原创 A1003--顺序合并两个非有序的链表

题目 给定由整数组成的两个无序数组,根据顺序合并成一个数组。 输入包括两行,每行由若干个由->分隔的整数组成,分别表示以最左整数为链表头,单向指向右侧节点的链表,每行输入均以.结尾。 输出为合并后的单向链表,由->表示其间的指针,最终指向由NULL表示的空值。 在合并过程中,比...

2019-09-18 17:58:01

阅读数 28

评论数 0

原创 A1002--字符串长度

题目 在右侧我们给出了一个已经基本完成的程序,读入了一个字符串,调用了一个叫str_len的函数来计算这个字符串的长度,并输出。 聪明的你应该已经发现了,这个叫str_len的函数并没有完成,在不修改函数原型的情况下,请完成str_len函数,实现我们上述的功能吧。 样例输入复制 abc...

2019-09-17 18:33:53

阅读数 17

评论数 0

原创 A1001--整除问题

题目 判断一个数是否能被另一个整数整除是一个挺简单的问题,一般一个模运算就可以搞定了,懒惰的晓萌还是不想自己做,于是找到你帮他写代码,你就帮帮他吧。 输入格式 输入包括两个由空格分开的整数MM和N(1\leq M,N \leq 500)N(1≤M,N≤500)。 输出格式 输出包括一行,...

2019-09-17 18:28:09

阅读数 18

评论数 0

原创 Linux连接MySQL命令

1.连接(默认3306端口) mysql -h 127.0.0.1 -u test_user -p 2.指定端口3301连接 mysql -h 127.0.0.1 -u test_user -P 3301 -p

2019-09-06 17:48:37

阅读数 30

评论数 0

原创 Hive批量删除表分区

1.只有一个分区,如year alter table t_test_order drop partition (year>'2015',year<'2019') 2.有多个分区,如year、month、day alter table t_t...

2019-09-05 16:13:24

阅读数 432

评论数 0

原创 Hive查看表所有分区

show partitions t_test_order;

2019-09-05 15:59:50

阅读数 2797

评论数 0

原创 Hive删除外部分区表

1.删除分区 altertablet_test_orderdrop partition(year='2018'); 2.删除表 drop table if exists t_test_order; 3.删除hdfs上的数据 hadoop fs -rm -r...

2019-09-05 15:36:33

阅读数 16

评论数 0

原创 Git的使用

Git是一个开源的分布式版本控制工具,它的开发者是Linux系统的作者Linus Torvalds (林纳斯·托瓦兹)。 Git的简单使用  1.安装Git     访问网址Git官网,即可下载安装  2.配置  ①配置身份    git config --global...

2018-01-14 12:35:31

阅读数 118

评论数 0

原创 Java查找算法之折半查找

折半查找又称为“二分查找”,算法复杂度为nlog2n。 1.折半查找思路 设有序顺序表{a[0], a[1], ......, a[n-1]},先求出查找区间中间元素下标mid,然后将该位置值a[mid]与要查找值key比较,比较结果有3种可能性: 若key=a[mid],则查找...

2018-01-13 21:31:05

阅读数 1201

评论数 0

提示
确定要删除当前文章?
取消 删除