- 博客(19)
- 收藏
- 关注
RSS订阅转载 设计模式
文章目录设计模式简介设计模式的出现设计模式在软件开发中的两个主要用途1.开发人员的共同平台2.最佳的实践设计模式的类型1.创建型模式2.结构型模式3.行为型模式4.J2EE 模式设计模式之间的关系设计模式的六大原则设计模式简介设计模式是一套被反复使用的、多数人知晓的、经过分类编目的、代码设计经验的总结。使用设计模式是为了重用代码、让代码更容易被他人理解、保证代码可靠性。毫无疑问，设计模式于己...
2019-07-18 12:16:16
314
原创 Spark学习了解
文章目录Spark的基本运行流程Spark运行流程图解Spark中的角色1、Application2、Driver3、Executor4、 Worker5、Task6、Job7、Stage8、DAGScheduler9、TaskSchedulerSpark工作流程图stage及依赖启动hive找不到Spark的语句需要进行的设置RDD中filter算子应用将文件通过SparkSession读取，获...
2019-07-17 21:00:14
249
原创 ides中遇到的不能创建breaks对象的问题
问题状况：其他的包和实体类不存在冲突，也能够调用其中的方法。但自己new Breaks 的时候就是一直报红，在创建的时候无包。但其他包不存在冲突。问题产生原因：在创建scala项目的时候，路径不对，将ideaWorkSpace作为项目进行过创建导致，部分包不能调用。解决办法：更换工作空间，或将动作空间下除项目外多余的生成文件删除。...
2019-07-10 09:30:55
199
原创 scala入门基础看懂底层代码
文章目录1.隐式转换(高阶隐式转换和隐式函数,这里我们先略过)1)有多种类型进行混合运算时,系统首先将所有的类型,转换成精度最大2)当我们把精度大的类型赋值给精度小的类型时,就会出现错误,反之就是3)(byte,short)和char之间是不会进行类型转换的4)byte ,short ,char 三者是可以计算,计算的时候首先转换成Int类型2 .强制类型转换细节注意:1)当进行数据的从大--&...
2019-07-09 19:32:10
649
原创 zookeeper的Api及监听类
文章目录Eclipse中API使用：1. 创建name节点，name节点的内容是zhangsan2. 创建子节点/name/sex3. 获取指定节点“/name/sex”的内容4. 删除指定节点“/name1111” （这里-1可以执行成功）watcher:监听到指定的目录有变化，会触发此方法Eclipse中API使用：ZooKeeper client = new ZooKeeper("...
2019-07-05 21:02:59
423
原创 scala语言入门小练习
文章目录1.给变量重新赋值看值是否可变2.Scala中如何获取字符串“Hello”的首字符和尾字符？3.统计三个班的成绩l情况,每个班有五名同学,每位同学的成绩自己输入4.九九乘法表5.100个以内的数求和,求出和大于20 的当前数6. 懒加载变量 只能是val常量7.加法自定义函数1.如何检测一个变量是val还是var? 给变量重新赋值看值是否可变2.在Scala中如何获取字符串...
2019-07-05 20:15:15
566
原创 大数据处理基础之scala编程语言入门
概要：1.为什么要学习scala?2.scala的介绍3.与java语言的对比4.编译工具的安装5.main方法讲解6.常量和变量7.数据类型8.懒加载9.差值器1.大数据学习为什么要学习scala?大数据学习时数据处理的两种方式：1)离线计算 ： MapReduce2)在线计算 ： spark a.spark 底层是scala ,我们需要看源码 b.sca...
2019-07-05 19:45:52
6387
1
原创 大数据学习之hive的jdbc测试类编写
JDBCTest.javaimport java.sql.*;public class JdbcTest {private static String driverName = "org.apache.hive.jdbc.HiveDriver";public static void main(String[] args) throws SQLException { try { ...
2019-06-21 21:21:11
510
原创 ides样式及字体设置
ides中有两种主题样式这里default是白色背景，第二种是黑色背景点击，然后apply应用即可改变主题样式。这里可以设置字体的样式大小。
2019-06-21 20:35:16
422
原创 解决idesUI软件中快捷键冲突问题
首先，idesUI中默认的ctrl+空格是提示命令快捷键。与eclipse中的Alt+/类同这里，为了符合以前的习惯，将ctrl+空格替换为alt+/;从这里进入设置页面：选择keymap 找到code下的completion:将其中占用alt+/的cyclic expand word 快捷键右键remove移除，然后将目标设置Basic中的ctrl+空格改为alt+/即可修改成功。...
2019-06-21 20:20:02
771
原创 Hive命令
启动hivebin/hiveHive几种使用方式：1.Hive交互shell bin/hive2.Hive JDBC服务(参考java jdbc连接mysql)3.hive启动为一个服务器，来对外提供服务 bin/hiveserver2 nohup bin/hiveserver2 1>/var/log/hiveserver.log 2>/var/log/hiv...
2019-06-20 10:22:33
966
原创 zookeeper详解及常用命令
从用途来说：Zookeeper是Apache组织下的高性能，分布式的应用协调服务框架，是google的chubby的一个开源实现。特性原子性：更新只能成功或者失败，没有中间状态数据一致性：为客户端展示同一个视图，这是zookeeper里面一个非常重要的功能实时性：zookeeper不能保证两个客户端能公式得到刚更新的数据，如果需要最新数据，应该在读数据之前调用sync()接口可靠性：如果...
2019-06-19 07:52:48
326
原创 eclipse中实现对hdfs文件内容简单计数
word_count单词计数代码简单实现首先创建项目，项目栏右键—>new----> other----->选择Map/Reduce—>Finish创建Mapper类，项目栏右键—>new----> other----->选择Mapper package com.hpe.wc;import java.io.IOException;...
2019-06-14 22:00:58
788
原创 大数据学习对MapReduce的理解浅析
MapReduce的理解浅析概述： 首先了解MapReduce，是一种编程模型，用于大规模的数据的并行运算，从数据传输的角度来看，可将它分为输出端Map(映射)和接收端Reduce（归纳）。Map是要处理数据的一部分映射，hadoop集群的文件传输的方式都是以块为单位进行运算的，这里的Map看为磁盘中的数据在内存...
2019-06-14 15:17:15
509
原创 HDFS文件系统操作及eclipse上搭建hadoop外部客户端
操作HDFS文件系统首先查看hadoop下的命令bin目录下的命令：sbin目录下的命令：这里演示些最常用的命令： 创建目录:如创建user/root路径 然后通过sbin 目录下的起始文件运行 然后通过 端口号+50070的方式通过浏览器访问 如：1...
2019-06-13 22:07:45
434
原创 linux上javahome环境配置及hadoop集群搭建
一、在javahome上配置jdk1.上传文件注意必须在shell中rz命令，终端需要安装Tools两种上传方式：1、xftp 建立好链接 将** jdk-8u121-linux-x64.tar.gz** 拖动到相应的位置2、使用命令rz 如果未安装lrzsz需要先通过 yum install lrzsz -y 命令在线安装2、解压解压安装jdk(ja...
2019-06-12 22:07:50
1940
原创 服务器如何实现数据的持久化
SecondaryNamenode （作为Namenode 的热备）基础的了解SecondaryNamenode永远无法取代Namenode(主结点)的位置，他只是Namenode的一个热备Namenode（主节点）掌握第一批 元数据（描述数据的数据）内存：存储量小、贵、但是快硬盘： 存储量大、便宜、但是慢为了保证元数据的安全 —将内润茶中的数据存放到磁盘...
2019-06-11 22:03:28
1301
原创 大数据概览及当下实用的主流开发
在信息时代，数据的增长速度不断增加，曾经只能飞信、QQ的我们，随着4G、5G的到来，可以用智能手机刷视屏、听歌、玩手游、购物等等的事情都可以在通过网络实现。而这一个个的实现有大量的数据产生，原来的邮件、信息最多也就几百KB；而现在的一个音乐视屏少说也要好几MB。这10多倍的数据增长，为数据的存储和使用带来的难题，大数据就是因此出现在人们的视线。一、大数据 个人...
2019-06-10 15:29:45
322
1
原创 学习大数据笔记2019-6-9
铺垫linux系统shell脚本的学习shell脚本可以简化程序员在大批量集群条件下的操作，将一些命令编辑成脚本语言运行，简单的运行脚本便可实现所需编译功能。又为何要选择在linux上进行练习呢?linux具有开源，免费。并且能跟据需求安装各种文件，linux的所有命令以文件的形式存储在系统上。并且简化版的的linux系统占磁盘空间很小400左右大小。而我安装的图形化界面安装驱动的需要2G左右...
2019-06-10 07:26:03
395
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人