- 博客(12)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 java动态方法绑定技术
文章目录案例1定义调用案例2定义调用案例3定义调用案例1第一个比较简单，就是常规的属性、方法的覆盖。定义在这里声明两个类A、B，用B去继承了A并且重写了A的属性和方法class A{ private int i = 10; public void test(){ System.out.println(i + 10); }}class B e...
2019-07-29 14:13:00
819
原创 Scala学习笔记-流程控制
条件结构def main(args: Array[String]): Unit = { var i = 0 //导致其非纯函数 val result = while(i<10){ println(i) i+=2 } println(result) //返回结果为空 // 在函数式编程中，不推荐使用while 和do whi...
2019-07-25 19:13:18
148
原创 Scala学习笔记-快速了解基础语法
文章目录基础语法标识符常用类型AnyAnyValAnyRefNothing算术操作符重载重载例子与方法的一些对比调用函数和方法基础语法标识符scala源码object ScalaLabel { def main(args: Array[String]): Unit = { //遵循java字母、数字、下划线，不能以数字开头 //scala标识符可以为字符 val...
2019-07-25 15:06:28
288
原创 Scala学习笔记-初识函数式编程
文章目录前言函数声明scala源码反编译后的java代码变量声明scala源码反编译后的ava代码函数引用scala源码反编译后的ava代码前言本文记录了初学Scala代码笔记以及反编译的java代码以供加深对scala代码运行过程的理解。函数声明scala源码object ScalaFunction1 { def main(args:Array[String]):Unit={ ...
2019-07-25 10:30:44
313
原创 封装了深度学习中几个图片数据增强的脚本-python平移、旋转与调整大小
翻转from PIL import Imageimport osimport os.pathimport sysrootdir = sys.argv[1] # 指明被遍历的文件夹for parent, dirnames, filenames in os.walk(rootdir): for filename in filenames: print('paren...
2019-07-22 11:24:00
821
原创 大数据实战-callLog项目(通话记录数据分析)之数据分析
前言有了之前存入HBase的数据，现在就可以运用HBase的MR进行数据分析了。mysql表结构设计db_telecom.tb_contacts用于存放用户手机号码与联系人姓名。列备注类型id自增主键int(11) NOT NULLtelephone手机号码varchar(255) NOT NULLname联系人姓名varchar(255)...
2019-07-13 18:39:02
3007
原创 大数据实战-callLog项目(通话记录数据分析)之数据采集
文章目录前言HBase创建表kafka创建topic消费topic控制台消费者HBase消费者消费者组设置插入方法封装构造rowKeymain方法flume代码运行前言如果你只是想锻炼一下数据采集而不是callLog项目的所有环节，那么可以直接下载我的文件来进行数据采集。HBase首先确认dfs和HBase正常运行，然后进入HBase SHELL创建表我在创建的时候指定了三个分区点，也...
2019-07-13 18:38:39
2413
原创 大数据实战-callLog项目(通话记录数据分析)之数据生产
文章目录前言生成基础数据Meaven依赖姓名-手机号列表时间维度表自动随机生成生成时间戳生成一定范围内的long数据代码调用演示获得随机的时间戳代码调用示例生成一行记录打包上传执行程序后记前言这个环节用到了两个工具来提高开发效率，而不是重复造轮子。一个是随机生成测试数据的 java-testdata-generator，另一个是数据处理的Joinery，我的博客中都有介绍，可以点进去了解一下。...
2019-07-13 18:37:54
1616
原创 大数据实战-callLog项目(通话记录数据分析)之项目介绍
文章目录前言技术框架流程介绍数据生产数据采集数据分析数据可视化Meaven依赖结果预览db_telecom.tb_contactsdb_telecom.tb_calldb_telecom.tb_dimension_date前言学完大数据离线部分的技术，老师就布置了一个综合性的大项目；自己勉强算是完成了，便整理成博客记录一下，方便以后复习，也希望对同样学习大数据的朋友们有所帮助。技术框架大数...
2019-07-13 18:37:01
2061
原创 封装一个简单的HBaseUtil
文章目录前言Meaven依赖私有属性构造方法代码演示表格操作判断是否存在新建表格删除表格数据操作添加或者修改一条数据多条数据前言HBase作为一个面向列族的数据库，和一般的数据库不同，没法用JDBC封装的那套util，便重新封装了个HBase自己的util供项目使用。Meaven依赖注意修改成自己的版本，可以去https://mvnrepository.com/artifact/org.a...
2019-07-13 16:02:45
294
原创 java中的数据处理框架-Joinery的初次使用(类似于python中的pandas)
前言由于用惯了python中的pandas，在写java代码时也想找找类似的框架，便发现了Joinery。Meaven配置 <dependency> <groupId>joinery</groupId> <artifactId>joinery-dataframe</artifactId> <version&g...
2019-07-11 06:35:57
16561
5
callLog项目数据生产工具
2019-07-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人