大数据
关注
分享
扫一扫
宋先生的客栈
欣赏自己的风景
展开
-
配置文件application.yml和bootstrap.yml的配置的不同
在SpringCloud项目工程中，我们经常需要编写配置文件，常碰到的配置文件的命名有三种，分别为：application.yml、 bootstrap.yml 和 application.properties 这三种命名的形式，想对比前两种的配置文件，第三种的配置文件与前两种不同的是前两种是以分层的形式来编写文件的，而第三种则是通过等号的形式来表示的，但他们的作用都是一样，只是编写...原创 2019-10-17 21:29:21 · 1268 阅读 · 0 评论 -
SparkRDD的概念和定义
RDD的具体描述: RDD（弹性数据集）是Spark提供的最重要的抽象的概念，它是一种有容错机制的特殊集合，可以分布在集群的节点上，以函数式编操作集合的方式，进行各种并行操作。可以将RDD理解为一个具有容错机制的特殊集合，它提供了一种只读、只能有已存在的RDD变换而来的共享内存，然后将所有数据都加载到内存中，方便进行多次重用.他是分布式的，可以分布在多台机器上，进行计算。他...原创 2019-10-12 21:10:45 · 766 阅读 · 0 评论 -
Filnk的过程描述
先创建执行环境（通用语句）final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();1.获取执行数据 （The path of the file, as a URI (e.g., "file:///some/local/file" or "hdfs://host:po...原创 2019-09-23 20:44:13 · 389 阅读 · 0 评论 -
AJAX的优缺点总结对比
ajax的优点：1、最大的一点是页面无刷新，用户的体验非常好。2、使用异步方式与服务器通信，具有更加迅速的响应能力。3、可以把以前一些服务器负担的工作转嫁到客户端，利用客户端闲置的能力来处理，减轻服务器和带宽的负担，节约空间和宽带租用成本。并且减轻服务器的负担，ajax的原则是“按需取数据”，可以最大程度的减少冗余请求，和响应对服务器造成的负担。4、基于标准化的并被广泛支持的技术，...原创 2019-09-09 21:42:30 · 384 阅读 · 0 评论 -
SpringMVC工作流程
1.用户发送请求至前端控制器DispatcherServlet2.DispatcherServlet收到请求调用HandlerMapping处理器映射器。3.处理器映射器根据请求url找到具体的处理器，生成处理器对象及处理器拦截器(如果有则生成)一并返回给DispatcherServlet。4.DispatcherServlet通过HandlerAdapter处理器适配器调用处...原创 2019-09-09 21:41:15 · 104 阅读 · 0 评论 -
在Liunx上面安装Tomcat
Tomcat安装步骤：1）上传Tomcat到linux上2）解压Tomcat到/usr/local下3）开放Linux的对外访问的端口8080/sbin/iptables -I INPUT -p tcp --dport 8080 -j ACCEPT/etc/rc.d/init.d/iptables save4）启动关闭Tomcat进入tomcat的bin下启动：./startup....原创 2019-09-09 21:25:42 · 110 阅读 · 0 评论 -
在Linux上面安装JDK
安装jdk查看之前是否安装java rpm -qa | grep jdk输入 rpm -e --nodeps 要卸载的软件 卸载之前安装的jdk下载运行jdk插件 yum install glibc.i686将jdk拷贝进root目录,并且进入root目录将jdk解压到 /opt/SoftWare/java 下 tar -xvf jdk-8u141-linux-x64.tar.gz ...原创 2019-09-09 21:25:00 · 150 阅读 · 0 评论 -
常用的Hbase的Shell操作
Shell操作进入hbase命令行./hbase shell显示hbase中的表list创建user表，包含info、data两个列族create 'user', 'info1', 'data1'； #一种 只有一个版本create 'user', {NAME => 'info', VERSIONS => '3'} #有多个版本hbase(main):012:0>...原创 2019-09-09 21:10:25 · 222 阅读 · 1 评论 -
Hbase的集群搭建
1.上传hbase安装包2.解压/usr/hbase/下3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了）注意：要把hadoop的hdfs‐site.xml和core‐site.xml拷贝到hbase/conf下[root@zhiyou01 ~]# cp/usr/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml/usr...原创 2019-09-09 21:08:48 · 134 阅读 · 0 评论 -
Hbase在Liunx系统上单节点安装过程
（一台机器，如果是集群下--关闭zookeeper）1.上传文件2.解压[root@zhiyou01usr]#cdhbase/[root@zhiyou01hbase]#lshbase-2.0.0-bin.tar.gz[root@zhiyou01hbase]#tar-zxvfhbase-2.0.0-bin.tar.gz3.修改配置文件$HBASE_HO...原创 2019-09-09 21:04:45 · 152 阅读 · 0 评论 -
sqoop（发音：skup）原理及配置过程
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。====================================...原创 2019-09-09 21:01:20 · 3013 阅读 · 0 评论 -
Hadoop+zookeeper的集群安装
zhiyou01192.168.233.129zhiyou02192.168.233.132zhiyou03192.168.233.133安装之前：设置好静态ipjdk给配置好ssh免密登录关闭防火墙systemctlstopfirewalld.service#停止firewallsystemctldisablefirewalld.serv...原创 2019-09-09 20:42:52 · 197 阅读 · 1 评论 -
zookeeper集群的安装
zhiyou01192.168.233.129zhiyou02192.168.233.132zhiyou03192.168.233.133安装之前：设置好静态ipjdk给配置好ssh免密登录关闭防火墙systemctlstopfirewalld.service#停止firewallsystemctldisablefirewalld.serv...原创 2019-09-09 20:30:48 · 176 阅读 · 0 评论 -
Scala中的集合排序总结
在scala中，排序不再像java中的那么复杂，除了Map之外，其他的集合类型都可以使用自己的排序方法，排序方法主要有三个：（1）sorted：使用默认排序（2）sortBy（_）：需要指定根据哪一个项进行排序（3）sortWith（（String,String）=>Boolean）：需要传入一个匿名函数来说明排序规则比如list可以直接调用上述三中方法，而map的话就可以转...原创 2019-08-29 22:45:02 · 1131 阅读 · 0 评论