- 博客(24)
- 收藏
- 关注
RSS订阅翻译 Eclipse配置码云
阅读目录：一、将代码提交到本地1、登录码云：新建项目2、输入项目名：3、空项目创建成功如下图：4、右键点击Eclipse的项目，选择“Team”——>“Share Project”5、将项目本身当作仓库：6、表示还未把项目提交到仓库中：7、提交：8、填写用户名和邮箱，选择所有，点击提交：9、图标改变成桶(数据库图标)，并且有一个( master）主分支，说明已经成功提交到本地。二、将代码上传...
2018-06-27 13:59:31
2809
原创 kafka 出现错误问题
1. kafka创建topic出现：Error while executing topic command org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /brokers/ids1原因： 没有在kafka目录下创建zookeeper ，指定myid解决：1234561.1 、创建...
2018-06-22 11:14:39
2452
原创 Windows安装Spark
系统版本 Spark : 2.3.1 Hadoop : 2.6.0 JDK : 1.8.0_161 Scala : 2.11.8第一步：安装JDK，配置环境变量JAVA_HOMEC:\Program Files\Java\jdk1.8.0_161CLASSPATH.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;P...
2018-06-12 17:23:09
906
原创 Centos之FTP操作
登录FTP[root@localhost pub]# ftp 192.168.214.140输入账号，密码查看目录230 Login successful.Remote system type is UNIX.Using binary mode to transfer files.ftp> ls227 Entering Passive Mode (10,155,7,155,230,7...
2018-05-21 13:36:52
4133
原创 Maven中设置阿里云中央仓库
修改maven根目录下的conf文件夹中的setting.xml文件，内容如下：< !-- 在mirrors 中配置 mirror --><mirrors> <mirror> <id>alimaven</id> <name>aliyun maven</name> &am
2018-05-16 16:32:14
1124
原创 Eclipse中安装STS插件
由于最近在学习SpringBooot,用Eclipse创建SpringBoot项目比较不爽，听说STS插件能直接创建SpringBoot项目，就动手安装一下，希望能对像我一样的小白有所帮助。 spring Tool Suite(sts)就是一个基于Eclipse的开发环境， 用于开发Spring应用程序。它提供了一个现成的使用环境来实现， 调试， 运行， 和部署你的Spr...
2018-05-16 09:38:00
1272
原创 分布式唯一ID实现
第一种： Java UUID UUID有一些缺点，首先他相对比较长，另外UUID一般是无序的import java.util.UUID; public class UUIDTool { public UUIDTool() { } /** * 自动生成32位的UUid，对应数据库的主键id进行插入用。 ...
2018-05-07 10:22:54
233
原创 Spark standalone模式启动
MASTER[root@hicmaster2 spark-2.2.1-bin-hadoop2.6]# ./sbin/start-master.sh starting org.apache.spark.deploy.master.Master, logging to /tools/spark-2.2.1-bin-hadoop2.6/logs/spark-root-org.apache.spark....
2018-04-24 10:36:51
742
原创 crontab定时任务不执行的解决办法
1、查看crontab执行记录如果出现了crontab定时任务不执行的情况，首先需要定位问题，那么就需要通过日志来确定问题所在。crontab的日志位置一般位于/var/log/cron，利用下面的语句即可查看日志。1tail -f /var/log/cron上面的/var/log/cron只会记录是否执行了某些计划的脚本，但是具体执行是否正确以及脚本执行过程中的一些信息linux会通过邮件形式...
2018-04-19 15:58:14
7466
原创 SFTP
Centos访问SFTP方式[root@HIC-SPARK1 ~]# sftp -o port=5692 haierftp@118.242.0.43Connecting to 118.242.0.43...haierftp@118.242.0.43's password: 输入密码就可以访问
2018-04-14 15:43:28
106
原创 SPARK异常解决（长期更新...）
SPARK异常解决（长期更新...）异常一 FAILED SelectChannelConnector@0.0.0.0:4040: java.net.BindException: Address already in use: bindjava.net.BindException: Address already in use: bind
2018-02-02 15:08:38
4504
原创 Spark自定义函数之max_by()实现
需求：求同一班级，年龄最大的学生的姓名 自定义聚合函数需要实现UserDefinedAggregateFunction，以下是该抽象类的定义，加了一点注释 继承类的源代码 - UserDefinedAggregateFunction/* * Licensed to the Apache Software Foundation (ASF) under one or mor
2018-02-02 15:04:32
4686
原创 Spark SQL函数之分组排序
需求：根据class分组对组内的age进行排序原表结果Spark SQL :SELECT name, age, class, row_number() over(partition by age order byclass) as RE FROM A默认会把同一分组的age最大放到第一位，并且设置RE=1，以此类推注意事项 ：
2018-02-02 15:02:13
6735
原创 Spark SQL函数之GROUP_CONCAT实现
需求：根据class分组，把同一分组的name字段使用逗号分隔 原始表： 结果集：Spark sql 实现 ：SELECT concat_ws(',',collect_set(name)) FROM A GROUP BY class
2018-02-02 15:00:07
11805
1
原创 Kafka监控之KafkaOffsetMonitor
KafkaOffsetMonitor是有由Kafka开源社区提供的一款Web管理界面，这个应用程序用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset，你可以通过浏览当前的消费者组，并且每个Topic的所有Partition的消费情况都可以观看的一清二楚。它让我们很直观的知道，每个Partition的Message是否消费掉，有木有阻塞等等。这个We
2018-02-02 14:56:44
335
原创 JAVA调用SSH脚本
MAVENpom.xml ch.ethz.ganymed ganymed-ssh2 build210 代码实现package com.yisa.wifi.zookeeper;import java.io.BufferedReader;import java.io.IOException;import java.
2018-02-02 14:55:24
820
原创 MYSQL慢查询
查找慢日志路径：mysql> show variables like '%datadir%'; +---------------+--------------------+| Variable_name | Value |+---------------+--------------------+| datadir | /u1/mysql_V2/data/ | -- 这里是慢日志的路
2018-02-02 14:53:23
110
原创 Centos安装MAVEN
系统：Centos7.2JDK ：1.8以上安装maven很简单和JDK的安装差不多，不过需要注意的是maven依赖JDK所以装maven 前先装jdkJDK安装请参考：http://my.oschina.net/u/2358326/blog/667935接下来安装maven：1、解压安装文件（创建安装文件目录，便于管理，您也可以不用键就在当前文件下解压）# mkdir
2018-02-02 14:51:54
112
原创 MYSQL灾难恢复
场景： 意外操作导致mysql启动异常，数据库损坏，无法使用。解决： 我们知道MySQL中如果用的是MYISAM数据引擎，那么数据很好恢复，只要将相应.frm, .MYD, .MYI文件拷贝过去即可。但是如果是innodb的话，如果开启innodb_file_per_table＝1,则每一个数据表都是一个单独的文件，比如User表，则会建立User.frm和User.i
2018-02-02 14:46:51
416
原创 HBASE性能优化
1:预分区 初次创建Hbase表时，为了防止数据过热，进行预分区create't', {NAME => 'f', VERSIONS => 1,COMPRESSION => 'SNAPPY'},{SPLITS => ['10','20','30']} 2：手动SPLIT 自动split在前面说了并不如自己管理split靠谱（
2018-02-02 14:43:27
220
原创 Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x
Hadoop使用root用户添加文件到HDFS时候，出现Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x这类异常。解决：su hdfs切换到hdfs用户，然后通过hadoop fs -chmod 777 /user01 来进行授权
2018-01-24 09:48:38
290
原创 CDH性能优化
系统：Centos7.2jDK : 1.8屏蔽Transparent Hugepage Compaction CDH5支持的大多数Linux系统都支持一个叫做transparent hugepage compaction特性。该特性会导致Hadoop的工作负载和性能会严重降低 症状： top或其他系统监控工具显示了system CPU这个类别的CPU处理耗用很大。如果s
2018-01-10 10:48:44
2515
原创 Test
class T1 extends Thread{ public void run(){ System.out.println(Thread.currentThread().getName()); try { Thread.sleep(2000); } catch (InterruptedException e) { // TODO Auto-genera
2017-03-17 10:54:31
123
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人