程裕强的专栏

大数据学习笔记(1.01^365=37.78,0.99^365=0.025)

基于WebMagic写的一个入门级CSDN博客爬虫

参考:http://blog.csdn.net/qq598535550/article/details/512876301、创建Maven项目pom.xml文件如下<project xmlns="http://maven.apache.org/POM/4.0.0" xml...

2017-10-31 22:37:08

阅读数 1006

评论数 3

nested exception is java.lang.ClassCastException:XXX cannot be cast to java.io.Serializable

Type Exception ReportMessage Request processing failed; nested exception is java.lang.ClassCastException: cn.com.ecict.bean.UserBean cannot be cast t...

2017-10-30 14:52:16

阅读数 4133

评论数 0

Hibernate @Transient实现临时字段映射

Hibernate @Transient实现临时字段映射@Transient还可以在持久化类中直接获取关联表中的字段值 @Transient表示该属性并非一个到数据库表的字段的映射,ORM框架将忽略该属性 如果一个属性并非数据库表的字段映射,就务必将其标示为@Transient,否则,ORM框...

2017-10-30 11:31:59

阅读数 1946

评论数 0

Kafka基本架构介绍

1、什么是消息系统?消息系统负责将数据从一个应用程序传输到另一个应用程序,因此应用程序可以专注于数据,但不担心如何共享它。 分布式消息传递基于可靠消息队列的概念。 消息在客户端应用程序和消息传递系统之间异步排队。 有两种类型的消息模式可用 - 一种是点对点,另一种是发布 - 订阅(pub-sub)...

2017-10-29 11:20:29

阅读数 4318

评论数 0

Kafka详细教程:下载、安装、配置与集群部署

[root@node1 ~]# wget http://mirror.bit.edu.cn/apache/kafka/0.11.0.1/kafka_2.11-0.11.0.1.tgz --2017-10-28 09:16:07-- http://mirror.bit.edu.cn/apache/...

2017-10-28 21:52:56

阅读数 577

评论数 0

CentOS 7 平台下Redis 4.0下载与安装全纪录

1、下载下载地址:http://redis.io/download 当前最新稳定版是4.0,下载链接是http://download.redis.io/releases/redis-4.0.2.tar.gz[root@node3 ~]# wget http://download.redis.io...

2017-10-28 21:09:09

阅读数 1396

评论数 0

Spark2.x学习笔记:15、Spark SQL的SQL

第15章 Spark SQL的SQL15.1 Spark SQL所支持的SQL语法select [distinct] [column names]|[wildcard] from tableName [join clause tableName on join condition] [where ...

2017-10-27 10:45:09

阅读数 1074

评论数 0

Spark2.x学习笔记:14、Spark SQL程序设计

Spark2.x学习笔记:第14章 Spark SQL程序设计14.1 DataFrameDataFrame=RDD+Schema 在Spark1.3之前,DataFrame被称为SchemaRDD。以行为单位构成的分布式数据集合,按照列赋予不同的名称。对select、fileter、aggre...

2017-10-21 21:58:13

阅读数 2220

评论数 4

TensorFlow学习笔记:3、TensorFlow基本概念

TensorFlow学习笔记:3、TensorFlow基本概念3.1 计算图与operationTensor(张量)意味着N维数组,Flow(流)意味着基于数据流图的计算,TensorFlow 代表着张量从图象的一端流动到另一端的计算过程,是将复杂的数据结构传输至人工智能神经网中进行分析和处理的过...

2017-10-15 17:02:08

阅读数 352

评论数 0

TensorFlow学习笔记:2、TensorFlow超简单入门程序

TensorFlow学习笔记:2.TensorFlow第一个简单入门程序(HelloWorld)2.1 代码说明 import tensorflow as tf 加载TensorFlow hello=tf.constant(“Hello,TensorFlow!”) 定义常量 session=t...

2017-10-15 11:38:34

阅读数 431

评论数 0

TensorFlow学习笔记:1、TensorFlow快速下载与安装

TensorFlow学习笔记:1.TensorFlow安装与测试1.1 安装python-pip[root@node1 ~]# yum install -y python-pip1.2 安装TensorFlow直接执行命令pip install tensorflow即可安装TensorFlow。[...

2017-10-14 23:33:21

阅读数 11231

评论数 0

Spark2.x学习笔记:13、Spark SQL快速入门

第13章 Spark SQL快速入门13.1 本地表(1)准备数据[root@node1 ~]# mkdir /tmp/data [root@node1 ~]# cat data/ml-1m/users.dat |tr -s "::" "," >>...

2017-10-12 22:16:59

阅读数 1207

评论数 0

Spark2.x学习笔记:12、Shuffle机制

第12章 Shuffle机制12.1 背景在MapReduce计算框架中,shuffle是连接Map和Reduce之间的桥梁。Map的输出要用到Reduce中必须经过shuffle这个环节,shuffle的性能高低直接影响了整个程序的性能和吞吐量。Shuffle的本义是洗牌、混洗,把一组有一定规则...

2017-10-07 19:33:03

阅读数 1495

评论数 0

Spark2.x学习笔记:11、RDD依赖关系与stage划分

第11章 RDD依赖关系与stage划分Spark中RDD的高效与DAG图有着莫大的关系,在DAG调度中需要对计算过程划分stage,而划分依据就是RDD之间的依赖关系。11.1 窄依赖与宽依赖针对不同的转换函数,RDD之间的依赖关系分类窄依赖(narrow dependency)和宽依赖(wid...

2017-10-07 16:28:50

阅读数 1333

评论数 0

大型机、小型机、x86架构以及ARM架构服务器的区别

1. 大型机又名大型主机,使用专用的处理器指令集、操作系统和应用软件。故此,大型机不仅仅是一个硬件上的概念,更是一个硬件和专属软件的有机整体。大型机是上世纪六十年代发展起来的计算机系统。经过四十年的不断更新,其稳定性和安全性在所有计算机系统中是首屈一指的。 现在的大型机的性能,并不能用单一的每秒...

2017-10-06 22:52:59

阅读数 3907

评论数 0

Airflow安装教程

1. 安装python-pip[root@node1 ~]# yum install -y python-pip2. 安装airflow[root@node1 ~]# pip install airflow 如果上面命令安装较慢,可以使用下面命令国内源安装。[root@node1 ~]# pip...

2017-10-06 22:30:50

阅读数 2161

评论数 0

bunzip2: command not found

错误信息:bunzip2: command not found[/root/anaconda2] >>> PREFIX=/root/anaconda2 Anaconda2-5.0.0-Linux-ppc64le.sh: line 317: bunzip2: command no...

2017-10-06 16:38:24

阅读数 10222

评论数 0

查看Hadoop HDFS 中的一个文件对应block信息

如果需要查看Hadoop HDFS 中的一个文件对应block信息,比如block数、block大小、block所在位置等,可以使用hdfs fsck命令。1. HDFS示例文件[root@node1 data]# hdfs dfs -ls /user/root/input Found 7 ite...

2017-10-05 21:57:11

阅读数 4640

评论数 0

scala.Predef$.$scope()Lscala/xml/TopScope$和not found: type Application异常

intellij idea+scala+spark开发的程序之前一直正常,今天提示下面错误。问题1 java.lang.NoSuchMethodError: scala.Predef$.$scope()Lscala/xml/TopScope$;Using Spark's default log4j...

2017-10-03 22:47:03

阅读数 1277

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭