- 博客(12)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 win7利用cygwin配置sshd服务
linux服务器可以很方便的ssh。但是如果是window server的话，要想使用ssh服务，就需要先安装一个模拟终端环境，注意是按在sshd服务端，而不是ssh客户端。只有安装了服务端才有ssh的环境，才能通过客户端如（xshell）登上去。首先下载cygwin_setup-x86_64.exe链接：点击打开链接安装过程中要手动选择SSH 包：输入ssh查找，Net default里面的op...
2018-04-23 16:51:40
1603
原创 内网穿透和远程开机
今天讲一个比较使用的技巧：内网穿透和远程开机应用场景：回家之后想访问公司内网的服务器或者其他资料；或者不在学校时想通过学校的内网下载论文、远程选课等等；或者在寝室想要远程控制实验室的电脑，远程开机等等。这里就分为几种情况了：1.内网出口由固定公网ip (百度ip即可看到你的公网ip)，一般公司都会购买一个固定的公网ip 2.内网出口没有固定公网ip，一般是拨号上网(每次拨号ip都会变化)其次搞清楚...
2018-04-23 16:01:51
12565
2
原创 Storm 多语言支持
Storm作为真正的实时流处理系统比spark的伪实时流更好。Storm用java开发很方便，但是除了支持java语言，还支持其他多种语言。1.对于JVM语言比较简单, 直接提高DSL封装Java即可。2.对于非JVM语言就稍微复杂一些, Storm分为两部分, topology和component(blot和spout)：对于topology用其他语言实现比较easy, 因为nimbus是thr...
2018-04-22 22:10:17
2162
原创 linux Web控制台
前段时间做一个hadoop+Spark的性能监控页面时，需要一个web控制台远程登陆到master节点上去，后来发现这方面资料太少，于是自己参照着零散的东西修修改改，终于做出了一个简单的web shell，记录一下以免时间长了忘记。大概像这个样子的：这样就可以在网页上直接访问linux服务器了，初衷是用来远程关闭正在运行的spark任务的，做发现出来之后一般的linux命令都能执行。首先讲一下后台...
2018-04-18 17:03:57
11499
7
原创 hadoop+Spark+hbase集群动态增加节点
如果一个集群资源不够用需要扩展的时候怎么办，那么是可以不关机动态扩展的，具体操作如下：已有集群:192.168.111.11 lyy1 ---master节点192.168.111.12 lyy2192.168.111.13 lyy3192.168.111.14 lyy4新增：192.168.111.15 lyy5192.168.111.16 lyy6开始：1.从lyy1节点克隆出两台...
2018-04-17 11:38:47
910
原创 Hbase压缩文件
首先来点Hbase常用命令：查看所有表：list查看表结构 describe 'stu'统计条数：count 'stu', INTERVAL => 100000hbase org.apache.hadoop.hbase.mapreduce.RowCounter 'stu'清空表：truncate 'stu'删除表：disable 'int_s6a'drop 'int...
2018-04-15 23:29:52
922
原创 Spark SQL常用读写接口
Spark2.0以后都是SparkSession作为程序入口的，这样的好处是便于使用Dataset<Row>的接口。按照日常需求，将其大致分为三类：1.读接口，即取数据2.写接口，即存数据3.操作接口，即计算数据这三类大致将Spark使用频率很高一些方法整理到一起，可以在使用的时候方便查阅。-----end-----...
2018-04-15 23:06:09
1671
原创 Spark sql 数据迁移
数据迁移当然可以使用sqoop,但是我使用的时候发现配置不当有很多错误，使用起来很麻烦，于是自己就用了最原始的方法来迁移数据，熟练步骤了其实也很快，给大家一个参考一、迁移一张表查看表结构：desc table tb1;查看建表sql语句：show create tabletb1;1.同一个数据仓库中复制表和数据,使用CTAS语句;常用的三种方案：a.完全复制拷贝：create table tb2 ...
2018-04-12 22:05:40
2668
原创 Phoenix命令及语法
基本命令：首先sqlline.py lyy1,lyy2,lyy3,lyy4:2181登录到Phoenix的shell中，可以使用正常的SQL语句进行操作。!table查看表信息 !describe tablename可以查看表字段信息!history可以查看执行的历史SQL!dbinfo!index tb;查看tb的索引help查看其他操作导入数据： 在phoenix 目录下执行hado...
2018-04-12 17:16:32
24151
原创 Hbase+Phoenix 安装及基本操作
1.安装Hbase： 解压：tar-zxvf hbase-1.2.1-bin.tar.gz 重命名：mvhbase-1.2.1 hbase 2.配置环境变量exportJAVA_HOME=/usr/local/software/jdk1.8.0_66exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar...
2018-04-12 17:08:31
6835
1
原创 java GC垃圾回收机制
垃圾收集器(collector)主要关注两个方面：1. 找到所有存活的对象2. 清除掉不可用对象在所有收集器中，都是通过标记（Marking）的方法找到存活对象的。 一、标记可访问对象现在JVM中所有的GC算法都是从找出存活对象开始的。下图形象的展示了JVM中各对象之间的引用关系： 首先，GC定义了一些GC Roots对象。一般来说，GC Root是由以下对象组成：本地变量以及当前正在执...
2018-04-12 16:50:26
301
原创 Java分页思想在分批次入库和多线程操作中的应用
java web分页思想很常用，本质思想是：由于数据量太大，一页显示不完的，所以需要分页显示。那么分页核心就是如何计算每一页的起始下标。 分页思想总结起来就是分批次处理，除了用在web页面的分页，还适用于数据库入库和多线程操作等应用场景。 只要掌握了其原理，便可举一反三。 解析开始： 1.总共有 len 条数据，但每次只能处理 batchSize 条记录，所以需要分为...
2018-04-12 15:10:38
842
Spark SQL分批入库
2018-04-13
WEKA应用技术与实践.pdf
2017-09-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人