自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

程裕强的专栏

学习笔记(1.01^365=37.78,0.99^365=0.025)

  • 博客(19)
  • 资源 (7)
  • 论坛 (5)

原创 基于WebMagic写的一个入门级CSDN博客爬虫

参考:http://blog.csdn.net/qq598535550/article/details/512876301、创建Maven项目pom.xml文件如下<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schema

2017-10-31 22:37:08 1503 3

原创 nested exception is java.lang.ClassCastException:XXX cannot be cast to java.io.Serializable

Type Exception ReportMessage Request processing failed; nested exception is java.lang.ClassCastException: cn.com.ecict.bean.UserBean cannot be cast to java.io.SerializableDescription The server encount

2017-10-30 14:52:16 7547

原创 Hibernate @Transient实现临时字段映射

Hibernate @Transient实现临时字段映射@Transient还可以在持久化类中直接获取关联表中的字段值 @Transient表示该属性并非一个到数据库表的字段的映射,ORM框架将忽略该属性 如果一个属性并非数据库表的字段映射,就务必将其标示为@Transient,否则,ORM框架默认其注解为@Basicimport javax.persistence.*;import java

2017-10-30 11:31:59 3658 1

原创 Kafka基本架构介绍

1、什么是消息系统?消息系统负责将数据从一个应用程序传输到另一个应用程序,因此应用程序可以专注于数据,但不担心如何共享它。 分布式消息传递基于可靠消息队列的概念。 消息在客户端应用程序和消息传递系统之间异步排队。 有两种类型的消息模式可用 - 一种是点对点,另一种是发布 - 订阅(pub-sub)消息系统。 大多数消息模式遵循 pub-sub 。(1)点对点消息系统 在点对点系统中,消息被保留在队

2017-10-29 11:20:29 6102

原创 Kafka详细教程:下载、安装、配置与集群部署

[root@node1 ~]# wget http://mirror.bit.edu.cn/apache/kafka/0.11.0.1/kafka_2.11-0.11.0.1.tgz--2017-10-28 09:16:07-- http://mirror.bit.edu.cn/apache/kafka/0.11.0.1/kafka_2.11-0.11.0.1.tgzResolving mir

2017-10-28 21:52:56 681

原创 CentOS 7 平台下Redis 4.0下载与安装全纪录

1、下载下载地址:http://redis.io/download 当前最新稳定版是4.0,下载链接是http://download.redis.io/releases/redis-4.0.2.tar.gz[root@node3 ~]# wget http://download.redis.io/releases/redis-4.0.2.tar.gz--2017-10-28 08:06:18--

2017-10-28 21:09:09 1641

原创 Spark2.x学习笔记:15、Spark SQL的SQL

第15章 Spark SQL的SQL15.1 Spark SQL所支持的SQL语法select [distinct] [column names]|[wildcard]from tableName[join clause tableName on join condition][where condition][group by column name][having conditions

2017-10-27 10:45:09 1400

原创 Spark2.x学习笔记:14、Spark SQL程序设计

Spark2.x学习笔记:第14章 Spark SQL程序设计14.1 DataFrameDataFrame=RDD+Schema 在Spark1.3之前,DataFrame被称为SchemaRDD。以行为单位构成的分布式数据集合,按照列赋予不同的名称。对select、fileter、aggregation和sort等操作符的抽象。14.2 RDD、DataFrame以及Dataset关系(1)D

2017-10-21 21:58:13 2811 4

原创 TensorFlow学习笔记:3、TensorFlow基本概念

TensorFlow学习笔记:3、TensorFlow基本概念3.1 计算图与operationTensor(张量)意味着N维数组,Flow(流)意味着基于数据流图的计算,TensorFlow 代表着张量从图象的一端流动到另一端的计算过程,是将复杂的数据结构传输至人工智能神经网中进行分析和处理的过程。TensorFlow 使用图(Graphs)来表示计算任务,图中的节点称之为 op(operatio

2017-10-15 17:02:08 473

原创 TensorFlow学习笔记:2、TensorFlow超简单入门程序

TensorFlow学习笔记:2.TensorFlow第一个简单入门程序(HelloWorld)2.1 代码说明import tensorflow as tf 加载TensorFlowhello=tf.constant(“Hello,TensorFlow!”) 定义常量session=tf.Session() 启动TensorFlow的sessionprint(session.run(

2017-10-15 11:38:34 545

原创 TensorFlow学习笔记:1、TensorFlow快速下载与安装

TensorFlow学习笔记:1.TensorFlow安装与测试1.1 安装python-pip[root@node1 ~]# yum install -y python-pip1.2 安装TensorFlow直接执行命令pip install tensorflow即可安装TensorFlow。[root@node1 ~]# pip install tensorflowCollecting ten

2017-10-14 23:33:21 13891 1

原创 Spark2.x学习笔记:13、Spark SQL快速入门

第13章 Spark SQL快速入门13.1 本地表(1)准备数据[root@node1 ~]# mkdir /tmp/data[root@node1 ~]# cat data/ml-1m/users.dat |tr -s "::" "," >> /tmp/data/users.dat[root@node1 ~]# tail -5 /tmp/data/users.dat 6036,F,25,1

2017-10-12 22:16:59 1437

原创 Spark2.x学习笔记:12、Shuffle机制

第12章 Shuffle机制12.1 背景在MapReduce计算框架中,shuffle是连接Map和Reduce之间的桥梁。Map的输出要用到Reduce中必须经过shuffle这个环节,shuffle的性能高低直接影响了整个程序的性能和吞吐量。Shuffle的本义是洗牌、混洗,把一组有一定规则的数据尽量转换成一组无规则的数据,越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程,把

2017-10-07 19:33:03 1798

原创 Spark2.x学习笔记:11、RDD依赖关系与stage划分

第11章 RDD依赖关系与stage划分Spark中RDD的高效与DAG图有着莫大的关系,在DAG调度中需要对计算过程划分stage,而划分依据就是RDD之间的依赖关系。11.1 窄依赖与宽依赖针对不同的转换函数,RDD之间的依赖关系分类窄依赖(narrow dependency)和宽依赖(wide dependency, 也称 shuffle dependency)。(1)窄依赖 窄依赖是指1个

2017-10-07 16:28:50 1913

原创 大型机、小型机、x86架构以及ARM架构服务器的区别

1. 大型机又名大型主机,使用专用的处理器指令集、操作系统和应用软件。故此,大型机不仅仅是一个硬件上的概念,更是一个硬件和专属软件的有机整体。大型机是上世纪六十年代发展起来的计算机系统。经过四十年的不断更新,其稳定性和安全性在所有计算机系统中是首屈一指的。 现在的大型机的性能,并不能用单一的每秒并行浮点计算能力来体现,大型机相比于其他计算机系统,其主要特点在于其RAS(Reliability, A

2017-10-06 22:52:59 10117 1

原创 Airflow安装教程

1. 安装python-pip[root@node1 ~]# yum install -y python-pip2. 安装airflow[root@node1 ~]# pip install airflow如果上面命令安装较慢,可以使用下面命令国内源安装。[root@node1 ~]# pip install -i https://pypi.tuna.tsinghua.edu.cn/simple

2017-10-06 22:30:50 2900

原创 bunzip2: command not found

错误信息:bunzip2: command not found[/root/anaconda2] >>> PREFIX=/root/anaconda2Anaconda2-5.0.0-Linux-ppc64le.sh: line 317: bunzip2: command not foundtar: This does not look like a tar archivetar: Exiti

2017-10-06 16:38:24 11480

原创 查看Hadoop HDFS 中的一个文件对应block信息

如果需要查看Hadoop HDFS 中的一个文件对应block信息,比如block数、block大小、block所在位置等,可以使用hdfs fsck命令。1. HDFS示例文件[root@node1 data]# hdfs dfs -ls /user/root/inputFound 7 items-rw-r--r-- 3 root supergroup 281498 2017-09

2017-10-05 21:57:11 7773

原创 scala.Predef$.$scope()Lscala/xml/TopScope$和not found: type Application异常

intellij idea+scala+spark开发的程序之前一直正常,今天提示下面错误。问题1 java.lang.NoSuchMethodError: scala.Predef$.$scope()Lscala/xml/TopScope$;Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

2017-10-03 22:47:03 1637

小巧的屏幕调节软件flux

推荐一款非常好用的小巧的屏幕调节软件flux,可以按照当地时间自动调节屏幕亮度。 友情提示,由于google地图的数据不可用,建议直接输入本地经纬度即可, 比如北京输入:40N,116E 比如上海输入:31N,161E

2019-08-10

OraClient Lite Setup.7z

Oracle客户端精简版,安装PL/SQL Developer的必备软件。

2019-08-10

基于elasticsearch 6.x的新闻搜索项目代码

基于elasticsearch 6.x的新闻搜索项目代码,SpringBoot2.x项目形式,使用Java High Level REST Client。包含了WebMagic爬虫程序

2019-07-17

Xftp6官方个人版

Xftp6官方个人版,免费版,配合XShell6使用。 也可以到官网下载https://www.netsarang.com/download/free_license.html

2018-11-11

Xshell 6 官方个人版

Xshell 6 官方个人版。也可以直接去官方网址注册下载https://www.netsarang.com/download/free_license.html

2018-11-11

hibernate5+spring4+springmvc+maven基本框架整合样例代码

hibernate5+spring4+springmvc+maven基本框架整合样例代码

2018-07-13

XShell免费版

最新版的XShell取消了学校免费授权。只好切换到之前的版本, 安装时请选择学校版,不要选择商业版。永久免费。

2018-07-13

程裕强的留言板

发表于 2020-01-02 最后回复 2020-07-20

求助--junit 的安装配置(转)

发表于 2007-11-11 最后回复 2016-06-03

娘,好女子也!

发表于 2007-10-28 最后回复 2007-11-04

爱(转)

发表于 2007-10-28 最后回复 2007-10-29

爱 罗伊.克里夫特 [爱尔兰】

发表于 2007-10-28 最后回复 2007-10-28

空空如也
提示
确定要删除当前文章?
取消 删除