2018年05月_sinadrew

12月 10月 08月 05月 04月

原创 CCProxy是个好东西

我在之前的博客里提到了用Teamviewer + CCProxy做内网穿透，当时只是简单提了一下，因为发现这种方式网速比较慢。今天又用到了它，虽然慢点，但是总比没的用好，哈哈哈。不得不感叹CCProxy是个好东西，小巧灵活，好多次用学校的ip下论文都靠它的，设置也比较简单。代理上网本质上和代购一样，只要内网机器能访问的网络，你的机器通过代理连上它，就都能远程访问。A. 可以直接使用CCProxy开...

2018-05-30 16:52:52 112676 4

原创 Spark SQL的ThriftServer服务和图形化客户端

通常我们是在控制台输入命令：spark-sql进入命令行界面：这是大多数人最喜欢用的，也最熟悉的界面。除了这种方式，还可以借助第三方的客户端来接入Spark SQL，常用的windows下图形客户端有：SQuirreL SQL Client、DbVisualizer和Oracle SQL Developer等。那么这三个图形界面都是用的ThriftServer作为服务端，而客户端的SQL请求实际是...

2018-05-26 00:28:34 4774 2

原创 spark之kryo 序列化

几乎所有的资料都显示kryo 序列化方式优于java自带的序列化方式，而且在spark2.*版本中都是默认采用kryo 序列化。因此本文将做kryo 做一个测试以验证其性能。1.先给出定义：把对象转换为字节序列的过程称为对象的序列化。把字节序列恢复为对象的过程称为对象的反序列化。通俗地说序列化就是把内存(jvm)中一个对象的状态通过网络传输，或者保存到磁盘上，反序列化与之相反。2....

2018-05-26 00:12:19 10489 2

原创 Spark读取hbase表的几种方式

刚刚五一节，差点忘了还有个博客需要更新，赶紧上来码点字。开工把！！！环境：hadoop3.0+Spark2.2+hbase1.2+phoenix4.12基本上是都是比较新的环境，而且也比较稳定。但是hbase相对来说有点老了，但也还好。这个版本的hbase1.2还没有提供spark直接访问的api,我在github上面看到新版的提供了，但是没安装成功（：-），于是将就了。在spark中读取hbas...

2018-05-02 22:47:24 23312 3

机器学习数学教程，高数、线代、概率论

机器学习相关的数学教程合集，总共四本：高数上下、线代、概率论

2018-12-16

windows终端模拟环境cygwin

win7配置sshd服务。 windows终端模拟环境，类似于linux的ssh

2018-04-23

Spark SQL分批入库

List list= spark.sql(sql).collectAsList()，获或者其他方法将数据存在List里面，然后就list转为 Dataset分批入库

2018-04-13

WEKA应用技术与实践.pdf

《数据挖掘与机器学习：WEKA应用技术与实践》借助代表当今数据挖掘和机器学习高水平的著名开源软件Weka，通过大量的实践操作，使读者了解并掌握数据挖掘和机器学习的相关技能，拉近理论与实践的距离。全书共分8章，主要内容包括Weka介绍、Explorer界面、KnowledgeFlow界面、Experimenter界面、命令行界面、Weka高级应用、WekaAPI和学习方案源代码分析。　　作为国内第一本系统讲解Weka的书籍，《数据挖掘与机器学习：WEKA应用技术与实践》内容全面、实例丰富、可操作性强，做到理论与实践的统一。本书适合数据挖掘和机器学习相关人员作为技术参考书，也适合作为计算机专业高年级本科生和研究生教材或教学参考用书。

2017-09-26

Java窗体实现飞机躲子弹游戏

主要功能是：在一个窗体里面，用方向键盘控制飞机图片移动来躲避满屏的子弹。

2016-10-19

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人