2017年12月_贾公子

转载 DAO层、ENTITY层、SERVICE层、CONTROLLER层个人的理解分析

转自：http://blog.csdn.net/warpar/article/details/67638379 DAO层、ENTITY层、SERVICE层、CONTROLLER层1、DAO层：持久层主要与数据库进行交互DAO层主要是做数据持久层的工作，主要与数据库进行交互。DAO层首先会创建DAO接口，然后会在配置文件中定义该接口的实现类，接着就可以在模块中就可以调用DAO 的接口

2017-12-27 21:45:07 1221

转载 spring mvc的详细介绍

https://www.cnblogs.com/xiaoxi/p/6164383.html

2017-12-27 10:08:57 175

（1）DAO是Data Access Object数据访问接口。数据访问：顾名思义就是与数据库打交道。夹在业务逻辑与数据库资源中间。（2）Bean包就是专门放置属性类的，比如在数据库中创建了一个表，那么你可以把这个表的各个字段，分别定义成属性放置在一个类里，并写明setter和getter方法，然后把这个类放置在bean包下面。（3）Conn建立了一个数据库连接对象，其他所有涉及到数据库操作的文件都

2017-12-26 17:34:21 4096

原创关于RDD的打印输出（来自官网）

Printing elements of an RDDAnother common idiom is attempting to print out the elements of an RDD using rdd.foreach(println) or rdd.map(println). On a single machine, this will generate the expected ou

2017-12-21 19:10:12 7552

原创 spark中的map和flattop,persist和cache分别有什么区别？

首先，说一下map和flatmap： map函数会对每一条输入进行指定的操作，然后为每一条输入返回一个对象，对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。如图，flatmap是把map的结果扁平化处理，得到一个集合。在spark中，数据如果需要重复使用或者进行最终的存储，通常需要进行持久化，可以使用cache()和pe

2017-12-21 18:04:12 455

原创 ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=PySparkShell, maste

在spark上用pyspark进行spark的初始化时候，报错： ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=PySparkShell, master=local[*]) created by at /usr/spark/spark-2.2.0-bin-hadoop2.7/pyt

2017-12-20 17:38:46 2499

转载关于spark UI界面的解释，非常清晰

spark UI 界面：http://blog.csdn.net/u013013024/article/details/73498508

2017-12-20 16:32:19 18934

转载网络通信的三次握手和四次分手详解

转自：https://www.cnblogs.com/cy568searchx/p/3711670.html TCP(Transmission Control Protocol)　传输控制协议三次握手TCP是主机对主机层的传输控制协议，提供可靠的连接服务，采用三次握手确认建立一个连接:位码即tcp标志位,有6种标示:SYN(synchronous建立联机) ACK(acknowledgement

2017-12-20 14:21:07 526

原创 python中的sys.argv[]什么意思呢。

其实，sys.argv[]就是一个通过代码与外部命令的桥梁。运行一个程序如图：从上面的程序可以看出： sys.argv[0]表示程序文件本身文件名（含路径） sys.argv[1]表示运行命令的第一个参数 sys.argv[1:]表示运行命令的第二个到最后一个参数 sys.argv 表示运行命令的全部参数所有说，sys.argv就是运行命令的一个参数list回头看程序的上面一

2017-12-18 17:49:32 10859 1

原创 hadoop+spark:error :file not found问题

这个问题，大多数是因为这个file是真的不存在，你需要创建让它存在；或者是因为你的配置文件中写的文件名字或者路径有错误。。。。

2017-12-14 10:00:06 659

原创 spark运行时候datanode无故消失

这应该是多次格式化节点，或者集群不按照正常程序关机开启导致的错误，导致namenode clusterID和datanode clusterID前后不一致解决方案：（1）在hadoop文件加下sbin/stop-all.sh （2）检查jps没有集群线程在运行了（3）找到 Hadoop文件加下/dfs/data （4）删除data文件夹下的临时文件current等（5）重新格式化

2017-12-14 09:56:03 760

原创 spark运行spark-shell出现Connection refused问题

在搭建好的spark环境上运行spark-shell,出现如下connection refused错误 java.net.ConnectException: Call From coocaabi/172.20.5.199 to coocaabi:9000 failed on connection exception: java .net.ConnectException:Connection re

2017-12-14 09:30:21 8142

转载解决关闭Hadoop时no namenode to stop异常

http://blog.csdn.net/gyqjn/article/details/50805472

2017-12-12 10:07:24 2028

原创在windows上pycharm配置spark环境

(1)分别从Hadoop官网和spark官网下载Hadoop和spark的安装包 Hadoop下载地址：http://www.apache.org/dyn/closer.cgi/hadoop/common spark下载地址： http://spark.apache.org/downloads.html 注意版本要兼容；（2）把Hadoop和spark的安装包解压，由于他们都是非安装软件

2017-12-11 16:12:37 2960 2

原创 python 写入、读取txt文件

with open('desc.txt','w') as f: f.write('我是个有想法的小公举')这句代码。自带文件关闭功能。比较常用的文件读写选项： ‘r’以读的方式打开，只能读文件，若文件不存在，则发生异常； ‘w’以写的方式打开，只能写文件，如果文件不存在，创建该文件；如果文件已存在，先清空，再打开文件； ‘rb’以二进制方式打开，只能读文件，如果文件不存在，会发生

2017-12-11 10:22:10 9683

原创 gensim 中文文本相似度计算

# -*- coding: utf-8 -*-import jiebaimport loggingfrom gensim import corpora, models, similaritiesfrom collections import defaultdictlogging.basicConfig(format='%(asctime)s : %(levelname)s : %(messa

2017-12-04 21:07:21 3453

原创 gensim 英文文本相似度

# -*- coding: utf-8 -*-"""对英文的处理"""import loggingfrom gensim import models, similarities, corporafrom collections import defaultdictimport os# 日志输出logging.basicConfig(format='%(asctime)s : %(le

2017-12-04 21:04:58 5129 5

贾慧玉的博客