chx3515-CSDN博客

原创 mysql从5.6.14升级至5.6.25

mysql从5.6.14升级至5.6.25服务器上Mysql的版本为：社区版的mysql-community-server-5.6.14。近日局方对服务器进行漏洞扫描，发现zhyh08上的mysql存在几个高危漏洞，要求进行修复。受这几个漏洞影响的主要是5.6.17及以前的版本，所以将mysql升级至最新的5.6.25即可解决问题。 1、下载最新的mysql安装包（rpm文件），链接如下： My

2015-07-02 12:59:23 1022

原创在Windows下安装MySQLdb模块

之前一直是在CentOS上使用python操作Mysql数据库，MySQLdb模块使用一直没有问题。为了使用方便，今天想在Windows下安装MySQLdb，却遇到了一系列的问题。现将安装过程中遇到的问题记录如下：1、首先下载MySQLdb的安装包，这里下载的是：MySQL-python-1.2.3.tar.gz2、解压后，进入其目录，执行：python setup.py install

2015-04-19 11:32:03 905

原创 JAVA经典问题算法大全之scala版

/*【程序1】题目：古典问题：有一对兔子，从出生后第3个月起每个月都生一对兔子，小兔子长到第三个月后每个月又生一对兔子，假如兔子都不死，问每个月的兔子总数为多少？1.程序分析：兔子的规律为数列1,1,2,3,5,8,13,21....*/方法1：object FirstRabit extends App{ var (f, f1, f2) = (1L, 1L, 1L)

2015-04-05 22:00:27 1644

原创 Scala connecting to MySQL with JDBC

如下是Scala 以JDBC方式连接MySQL数据库的小实例：package testsimport java.sql.{Connection, DriverManager}object ScalaMysqlInsert extends App { // Connect to the database val url = "jdbc:mysql://192.168.10.2:330

2015-03-27 23:34:44 465

原创使用IntelliJ IDEA编译spark-1.3.0源码

1、下源spark源码spark-1.3.0.tgz，并解压；2、打开IntelliJ IDEA，在欢迎界面上，选择“ImportProject”。3、在“Select file ordirectory to import”界面中，找到第1步所解压出来的spark-1.3.0源码的根目录下的pom.xml文件。4、在“Import project

2015-03-23 17:08:13 1544 1

原创使用python smtplib 发送带附件的邮件

最近经常需要出一些临时性的报表，于是就用python 的 smtplib 和 email 两模块写了个小程序，当数据处理完后通过邮箱把报表文件从服务器上发送出来！代码如下，本人亲测通过。#!/usr/bin/env python# -*- coding:utf-8 -*-import osimport sysimport timeimport smtplibfrom e

2015-03-04 16:21:34 871

原创一个akka小实例

Akka中的Actor可以看作是一个个独立的实体，它们之间是毫无关联的。它们之前通过消息传递来进行通信。一个Actor收到其它Actor的消息后，它可以根据需要作出各种响应。消息的类型可以是任意的，消息的内容也可以是任意的。这点有点像webservice，只提供接口服务，你不必了解我是如何实现的。定义一个Actor，只需要继承 akka.actor.Actor ，并实现receive方法即可。

2015-01-31 22:18:58 382

原创 scala的协变与逆变、上界与下界

这里先定义两个类：class Schoolclass Student extends School协变[+T]，covariant （or "flexible"）in its type parameter T，类似Java中的(? extends T），即可以用T 和T的子类替换T，即类与类型朝着同样的方向型变。如：class Stack[T] [

2015-01-30 22:24:17 468

原创 CentOS下添加用户并且让用户获得root权限

首先，添加一个普通用户：# adduser python #添加普通用户#passwd python #修改普通用户密码Changingpassword for user python.NewUNIX password: //在这里输入新密码Retypenew UNIX password: //再次输入新密码passwd:all authenti

2015-01-17 23:33:08 437

原创 scala Actor 初探

scala提供两种Actor：基于线程的Actor和基于事件的Actor。一、基于线程的Actor1、每个基于线程的Actor运行在自己的JVM线程中，它们被java线程调度器调度，是一个可抢占的优先级调度器。这种Actor使用receive模型，它从线程池获取一个线程后一直使用。2、实现方法：基于线程的Actor的实现方法是继承scala.actors.Actor，完成其act方法，

2015-01-06 14:36:44 506

原创 Spark Streaming的三种运用场景

Spark Streaming共有三种运用场景，分为：无状态操作、状态操作、window操作。下面分别描述下本人对这三种运用场景的理解。1、无状态操作只关注当前新生成的小批次数据，所有计算都只是基于这个批次的数据进行处理。一个批次的数据，我们将这个批次的时间假设得长一些，比如说一天。这样的话，一个批次就是在一天时间内生成的数据，可以理解为银行系统中贷

2014-12-25 22:54:21 2368

原创 Spark Streaming初探

Spark Streaming是一种构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力，它可以接收来自Kafka，Flume，Twitter和TCP Socket的数据源。 SparkStreaming是将流式计算分解成一系列短小的批处理作业，也就是将输入数据按照batch size（如5秒）分成一段一段的数据，每一段数据都转换成Spark中的RDD，

2014-12-20 23:47:58 564

原创 spark实例：用spark-submit运行spark程序

本文记录了使用intellij idea新建项目、开发应用程序、打包应用程序，并使用通过spark-submit运行应用程序的过程。过程如下：1、新建项目：选择File->New Project ->Scala ->Non-SBT，next后输入 Project name：chx3515等信息，如下图：2、为项目添加spark jar包：选中项目chx3515后，选择File-

2014-12-17 00:18:53 3160

原创放置公钥至服务器上后仍然提示输入密码问题处理

今天在配161ssh无密码登录到40上的p2ptest用户时，放置公钥至40机器后，仍然提示输入密码。重新生成密钥也没有用。放置其它机器的公钥上去也是要求输入密码。无意中发现，40上p2ptest用户的home目录的owner为755，而不是p2ptest，如下：修改p2ptest目录的owner为p2ptest，命令如下：chown p2ptest p2ptest公钥放上去之后，

2014-12-10 15:50:08 1683 1

原创 spark sql读取hive数据时报找不到mysql驱动的解决办法

spark sql读取hive数据时报找不到mysql驱动

2014-12-08 23:39:22 2653

原创集群默认只使用每个节点8G内存的修改方法

0、刚安装完成的集群，7个slave，每台32G的内存。此为背景。1、集群部署完成后，通过ResourceManager页面查看集群相关信息时发现，整个集群的Memory Total只有56G，平均每个节点只使用了8G，1/4的内存。如下图：2、解决办法：修改每个节点上的yarn-site.xml配置文件，添加如下配置，设置每个节点可用内存为30720M（即30G）

2014-12-04 23:56:08 1012

原创 File***could only be replicated to 0 nodes instead of minReplication (=1)

1、集群部署完成之后，测试上传文件至hdfs时，报出 File /user/hdfs_test.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1)的异常信息。[hadoop@abcd08 chx]$ hadoop fs -put hdfs_test.txt /user14/11

2014-11-30 23:51:40 19398 8

原创 Excel 2007 制作双Y轴图形

月份ABB/A一月100388235377305640977.01%二月79826651762011535277.68%三月105836704878717425374.38%四月99173700175109212375.74%五月1204322232853762879

2014-11-13 23:21:07 1862

原创 CentOS release 6.3 下格式化并挂载硬盘

Last login: Fri Nov 7 18:46:08 2014 from 116.22.235.50[root@localhost ~]# fdisk -lDisk /dev/sda: 64.4 GB, 64424509440 bytes255 heads, 63 sectors/track, 7832 cylindersUnits = cylinders of

2014-11-13 22:25:23 707