云计算/大数据
weixin_42129080

JAVA Comparable和Comparator比较

Comparable1. Comparable接口对实现它的每个类的对象强加一个整体排序。 这个排序被称为类的自然排序 ,类的compareTo方法被称为其自然比较方法。2. 该接口有且只有一个方法i...
6
qq_41689867

秋后算账的英特尔

Intel says CEO Brian Krzanich has resigned after the company learned of a "past consensual rela...
1
wsh596823919

初学Hadoop之图解MapReduce与WordCount示例分析

阅读目录1、MapReduce整体流程2、WordCount源码3、WordCount逐行解析  Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,Ma...
0
woaini1314520_xhh

CEPH集群的搭建

CEPH环境搭建1、创建5台虚拟机node1.tedu.cn  192.168.4.1node2.tedu.cn  192.168.4.2node3.tedu.cn  192.168.4.3node4...
1
fox64194167 img

Spark 可视化实战 分析日志的搜索引擎爬虫来源

1.日志部分内容:66.249.79.35 - - [14/Jun/2018:06:45:24 +0000] "GET /img/20180504/702434-20180302101540...
0
fox64194167 img

Storm wordcount

package com.waiting; import org.apache.storm.Config; import org.apache.storm.LocalCluster; import ...
0
fox64194167 img

storm 入门例子

TopologiesThe logic for a realtime application is packaged into a Storm topology. A Storm topology i...
0
fox64194167 img

spark foreachPartition 把df 数据插入到mysql

package com.waitingfy import java.sql.{Connection, DriverManager, PreparedStatement} import org.ap...
0
fox64194167 img

spark 读取jdbc mysql

1.加mysql jarspark-shell --master local[2] --jars /Users/walle/app/mysql-connector-java-8.0.11.jar2. ...
0
fox64194167 img

spark 读取hive 数据

1.启动spark-shell 需要加上mysql jar位置spark-shell --master local[2] --jars /Users/walle/app/mysql-connector...
0
qq_38314823

代码:MapReduce程序模板

MapReduce: public class MRDriver extends Configured implements Tool { @Override public i...
0
fox64194167 img

spark 读取csv 到dataframe

val df = spark.read.format("csv").option("header", "true").load("...
0
fox64194167 img

spark 读取parquet

列式存储布局(比如 Parquet)可以加速查询,因为它只检查所有需要的列并对它们的值执行计算,因此只读取一个数据文件或表的小部分数据。Parquet 还支持灵活的压缩选项,因此可以显著减少磁盘上的存...
0
BabyFish13

Hive并行跑批简易一例

1、目标表建表脚本drop table if exists xxxxx_gift_record_byroom_bymonth; CREATE TABLE `xxxxx_gift_record_byro...
0
Ancony_

SecureCRT快速连接服务器

个人一般喜欢使用SecureCRT去连接Liunx服务器。某段时间发现一个服务器登录的时候异常缓慢。经过查找资料,发现除了和Liunx系统的设置有关系以外,和SecureCRT的设置也有关系。一般情况...
4
qicui2835

Maven常用的命令

mvn clean 清理:将项目下的target文件夹下的所有东西全部干掉mvn compile 编译:将java文件编译成class文件mvn test  测试:执行test下面的单元测试代码mvn...
7
weixin_42129080

Hadoop I/O操作 序列化之序列化框架和自定义Writable集合

序列化框架Hadoop有一个API,专门用来替换序列化框架,不一定要使用Writable类型1) 用Serialization来表示序列化框架,如WritableSerialization类,实现了接...
5
jin6872115

大文件切分小文件

用户日志数量:5千万,用户数目5000需求:按照用户id将文件拆分成5000个小文件,文件已用户id作为文件名称scala代码如下:可以快速得出结果package cn.cslc.sdwd.log_A...
7
cyh_90

阿里云买的云服务器,phpstudy安装成功,运行成功,但是公网不能访问

按照网上的教程,在centos中一步步安装phpstudy,安装成功,并且运行成功,但是在外网就是不能访问,于是尝试云服务器本地是否可以访问,输入命令curl localhost,发现能够成功访问,于...
3
qq_35508033

SpringCloud之Ribbon和Feign(负载均衡)

Spring Cloud Ribbon是基于Netflix Ribbon实现的一套==客户端==负载均衡工具。Ribbon会自动帮助你基于某种规则(简单轮询、随机连接等),也可以实现自定义的负载均衡算...
5
qq_40990732

spark 单词统计开发及提交

1.利用scala写单词统计 package com.dt.spark import org.apache.spark.{SparkConf, SparkContext} object Word...
7
ku20aijiu

charles系列破解激活办法(最高charles4.2都可以激活)

.注册。在Help窗口内选择Register Charles。(如果不注册的话,使用Charles每30分钟它就会自动退出一次,所以还是注册了吧!)// 适用于Charles任意版本的注册码,谁还会想...
4
weixin_38292616

hadoop端口说明:

hadoop端口说明:port8088: cluster and all applications port 50070: Hadoop NameNodeport 50090: Secondary N...
5
qq_18769269

支持SQL Elasticsearch6.3 新特性概览

1、Elasticsearch6.3 特性概览1.1、支持Sql像操作Mysql一样使用Elasticsearch,缩减DSL的学习成本,更多人爱上ES的特性。这样我们就可以减少 DSL 的学习成本,...
6
qq_35585843

Numpy中的random用法

在学习numpy的时候遇到了random函数,下面是一些用法 random模块用于生成随机数,下面是一些常用函数的用法 numpy.random.rand(d0,d1,…,dn) 生成一个...
4
weixin_42129080

Hadoop I/O操作 序列化之Writable接口和实现接口的Writable类

Writable接口Writable类自定义Writable集合序列化框架
1
caogenwangbaoqiang

矩阵的最短路径

int findshortcurt() { int base[4][4]={{1,3,5,9},{8,1,3,4},{6,6,6,6},{8,8,8,0}}; int dp[4][4]...
5
caogenwangbaoqiang

换钱最少的组合方法

/* 0 max max max max 1 max max max max 2 0 0 0 0 0 1 1 1 2 2 2 0 0 0 0 0 1 1 1 2 2 2 */ #define M...
1
caogenwangbaoqiang

换钱的方法数

//暴力轮询的方法 int process1(int arr,int index,int aim) { int res = 0; if(index == arr.size()) ...
0
qq_34796981

springboot和kafka结合其中enable.auto.commit等于false失效

事件描述 公司使用的是Spring Cloud工作的微服务框架。其中做了SpringBoot和kafka的结合。但是意外的是enable.auto.commit参数设置成了false,kafka的o...
13

预告
img 进军Web前端工程师
讲师:曾亮老师

专家申请

img
宿永杰

2015年毕业于中国地质大学(武汉)信息安全专业,之后从事java、python开发工程师...

img
徐宏

目前从事物联网智能家居领域,就位Android开发工程师,对嵌入式开发有着浓厚的兴趣与经验...

img
宋明旭

大学四年ACM参赛经历,工作三年,专修算法,目前主要从事棋牌算法以及人工智能领域的相关工作...

更多

官方博客

img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部