- 博客(14)
- 收藏
- 关注
RSS订阅原创 Spark源码--SparkConf
spark版本为2.1.01，sparkconf类是用来设置spark的运行时参数的，所有的设置，无论是在配置文件中配置的参数，还是在程序中指定的参数，都要走此类。2，代码中，获取参数主要有两个途径，分别是直接调用set方法，和直接从配置文本中读取，具体代码作用看注释3，这个类的主要功能，就是将各种配置信息，封装在类中setting中（hashmap表）3，代码并不是此类的全部代码，只是一...
2019-11-12 19:32:15
365
转载 svm的对偶，kkt，拉格朗日乘子法
原文链接：https://blog.csdn.net/bit_666/article/details/798652251.SVM基础模型给定训练集D={(x1,y1),(x2,y2)...(xn,yn)},yi∈{-1,1}，例如下面图中的点，蓝线左上方的6个点对应1类，右下方的6个点对应-1类，基于数据分类的思想，如果我们想把两类数据分开，显然蓝线不是唯一的选择，我们有无数条直线可以选择将两...
2019-06-16 11:21:19
626
原创 Hadoop集群案例--电信客服项目②：flume采集数据到kafka
此处是单节点生产数据到文件a.txt中，由flume采集上传到kafka集群，然后由kafka集群开启一个消费者，消费数据flume配置文件# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources...
2019-04-18 15:32:07
465
原创 Hadoop集群案例--电信客服项目①--数据生产模块
整个项目是仿照尚硅谷的电信项目案例的简化版，是由自己的编的代码，所以在代码的整体逻辑上比尚硅谷课程的代码差一些。不过可以有借鉴整体项目的数据流数据生产模块生产数据模拟电信日志数据列为：主叫，被叫，通话时间点，通话分钟数数据生成代码package com.sl;import java.io.File;import java.io.FileWriter;import java.i...
2019-04-18 15:22:17
571
转载 Hive常规操作
常用命令show databases; # 查看某个数据库use 数据库; # 进入某个数据库show tables; # 展示所有表desc 表名; # 显示表结构show partitions 表名; # 显示表名的分区show create table_name; # 显示创建表的结构****建表语句****# 内部表use xx...
2019-03-23 11:14:51
209
原创 Hbase的常用Api使用操作
package sl;import java.io.IOException;import java.util.Iterator;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.h...
2019-03-23 10:58:29
1005
1
原创 关于maven创建hbase工程的找不到方法的bug+hbase的pom文件
使用maven创建hbase工程，报错显示找不到方法，目前根据自己的问题有以下几种原因：类没有正确的导入（问题可能性不大，因为maven是自动导入的）jar包的导入，但是由于依赖的版本过低，包中没有某个方法，尤其是跨组件创建项目，如hbase的组件要使用hadoop的jar包，容易出问题解决方法对于2，使用c+s+t定位到那个类，看看有没有某个方法，如果没有，则在pom管理器上查看是哪个...
2019-03-22 11:15:20
729
原创 关于hive创建表出现FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.问题
出现这个问题的目前以经找到的一个原因是创建mysql数据库的时候，修改了指定的字符集，我改成了utf-8，所以出问题了。把数据库删了然后再重建，将字符集改成默认就欧克了...
2019-03-05 09:45:54
9168
原创 解决解决NativeIO$Windows.access0(Ljava/lang/String;I)Z问题
此时一般情况下，都是NativeIO源码和windows不兼容，需要更改操作步骤获取hadoop的NativeIO的源码----写在文件，然后使用everything搜出NativeIOjava文件如图创建包和类将源码复制后，557行改成return true；如果复制源码出现导包错误，则在该工程上右键properties然后一般就ok了...
2019-02-24 22:36:57
2020
原创 job客户端代码编写+使用
package com.sl;import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Map...
2019-02-24 22:23:29
402
1
原创 简单使用类加载器读取配置文件+调用另一个的方法
package com.sl.one;import java.io.IOException;import java.util.Properties;public class TestClassLoad{ public static void main(String[] args) throws Exception { Properties ps = new Propertie...
2019-02-24 15:20:23
872
原创 Vim操作命令
a 光标后插入文本o 光标下行插入新行O 光标上行插入新行：set nu 设置行号：set nonu 取消行号gg 到第一行G 到最后一行：n 到第n行：w 保存修改:w new_filename 另存新文件:w >> a.txt 内容追加到a.txt:wq 保存并退出shift+zz 同上q！ 不保存退出，取...
2019-02-20 22:04:16
194
原创 Linux 操作命令
cdcd \ 根目录cd .. 上级目录cd . 当前目录cd - 上次操作目录cd ~ 当前用户宿主目录 lsls -l 显示详尽信息，相当于llls -R 递归显示当前目录下的所有目录，包括子目录ls -r 逆序排序ls -t 按时间降序ll -htr 详细查看文件信息，包括文件大小pwd 显示当前目录-L 显示链接路径，当前...
2019-02-20 20:25:45
141
原创 大数据集群CentOS 6.5配置一
创建虚拟机–vm加载虚拟机镜像，使用后加载，然后再文件夹中选择6.5mini镜像安装，一路next，直到创建磁盘分区–自定义分区在这里插入图片描述4.创建分区配置Hosts------- vi /etc/hosts配置ip地址和网卡配置vm—如图测试win/lin相互ping对方，能不能得到结果...
2019-02-20 09:52:09
198
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人