DeryLiu-CSDN博客

原创 python全栈2:CSS基础

CSS基础入门第1天课堂笔记（本课程共6天）前端与移动开发学院http://web.itcast.cn目录一、上节课知识复习● HTML骨架结构，抽象的：● DTD：文档类型声明Doc Type Declaration。一共有7种DTD，3种HTML4.01的，3种XHTML1.0的，1种HTML5的（HTML5我们后面专门的课程学习）。三个小种： strict（更为严格，不能用u、b、i标签）、

2017-02-19 10:22:40 363

原创 python全栈1-Html基础

HTML：超文本传输协议，Hypertext Transfer Protocol。这是一个文件的传输协议，我们上网的时候，所有的文件都是通过HTTP这个协议，从服务器上传输到客户的电脑里面的。一、HTML基础 1.文档声明头任何一个标准的HTML页面，第一行一定是一个以开头的语句。这一行，就是文档声明头，DocType Declaration。此标签可告知浏览器文

2017-02-19 09:42:31 530

原创 python全栈5-jQuery基本使用及demo

1 jquery是什么 jQuery由美国人John Resig创建，至今已吸引了来自世界各地的众多 javascript高手加入其team。jQuery是继prototype之后又一个优秀的Javascript框架。其宗旨是——WRITE LESS,DO MORE,写更少的代码,做更多的事情。它是轻量级的js库(压缩后只有21k) ，这是其它的js库所不及的，它兼容CSS3，还

2017-02-15 09:05:05 1983

原创 Spark实践项目4:Spark基本概念

Spark基本概念 RDD——Resillient Distributed Dataset A Fault-Tolerant Abstraction for In-Memory Cluster Computing弹性分布式数据集。Operation——作用于RDD的各种操作分为transformation和action。Job——作业，一个JOB包含多个RDD及作用于相应RDD上的各种ope

2016-08-07 16:33:30 491

原创 Spark实践项目3:Spark运行模式及原理

一、运行模式概述本节部分内容源自官方文档：http://spark.apache.org/docs/latest/cluster-overview.html (一)Spark运行模式列表目前最为常用的Spark运行模式有： - local[N]：本地模式，使用N个线程。本地线程方式运行，主要用于开发调试Spark应用程序 - Standalone：利用Spark自

2016-08-07 16:32:33 1914

原创 Spark实践项目2：软件安装

1、使用课程提供的hadoop-2.5.0-cdh5.3.6.tar.gz，上传到虚拟机的/usr/local目录下。（http://archive.cloudera.com/cdh5/cdh/5/） 2、将hadoop包进行解压缩：tar -zxvf hadoop-2.5.0-cdh5.3.6.tar.gz 3、对hadoop目录进行重命名：mv hadoop-2.5.0-c

2016-07-17 19:57:48 508

原创 Spark实践项目1：CentOS虚拟机搭建

虚拟机软件采用VirtualBox。 1.下载CentOS镜像：本次实验采用的是 CentOS-6.4-i386-minimal.iso 2、创建虚拟机：打开VirtualBox，点击“新建”按钮；输入虚拟机名称为sparkproject1，选择操作系统为Linux，选择版本为RedHat；分配1024MB内存；

2016-07-15 12:08:16 909

转载 HDFS文件常用命令详解

【fs最常用命令】 1 2 3 4 5 6 7 bin/hadoop fs -ls hdfs_path //查看HDFS目录下的文件和子目录 bin/hadoop fs -mkdir hdfs_path //在HDFS上创建文件夹 bin/hadoop fs -rm hdfs_path

2016-06-06 17:54:07 2950

转载 Load Native-Hadoop Library For Mac

https://gauravkohli.com/2014/09/28/building-native-hadoop-v-2-4-1-libraries-for-os-x/ If you are reading this blog, I assume that you already have Hadoop(v 2.4.1) installed on your OS X machine

2016-05-12 13:14:59 607

原创 IntelliJ IDEA下的Spark程序开发

1.创建项目：选好javaSDK和scalaSDK 2.导入Spark的jar文件依赖： File－Project Structure－Libraries－jar 选择 spark路径下lib文件夹内的assembly jar包。 3.编写代码： 4.打jar包： File－Project Structure－Artifacts

2016-05-11 15:26:39 663

转载 Hadoop2.X 64位编译

1 编译Hadoop2.X 64位 1.1 软硬件环境说明节点使用CentOS系统，防火墙和SElinux禁用，创建了一个shiyanlou用户，并在系统根目录下创建/app目录，用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序，用户对shiyanlou必须赋予rwx权限（一般做法是root用户在根目录下创建/app目录，并修改该目录拥有者为shiyanlo

2016-03-03 19:33:03 492

原创 Mac环境下配置Hadoop-2.6.2版本

1. 单机模式 (1) ssh设置远程登录： sh-keygen -t rsa -P "" cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 登录测试 ssh localhost exit (2) 安装jdk(忽略) (3) 配置环境变量 vim ~/.bash_profile 输入内容

2016-02-22 13:37:30 1989

原创 Mac下ssh配置相关

开启ssh：从系统偏好设置->共享->勾选“远程登录” 修改端口：和Linux不一样，mac的/etc/下面也有sshd_config文件，但不是改这个。 read -p "Please enter new SSH Port number: " sshport; sudo sed -i "-bak" -n "/SockServiceName/{p;n;s/>.*$sshport</;

2016-02-22 13:29:57 1094

原创不同软件版本及系统的差异导致的错误汇总

由于好多软件在不断更新，教程也难免出现错误。我这种半路出家的对照网络教程总是出错，出个错误要找半天。就在这里总结纪录一下我出现的问题以及解决方法。暂且先纪录在这。欢迎大牛指正。 1.java的jdk一定要配置成最新版本。（如果有的程序对java版本有要求，那就删掉这破软件吧。） 2.MYSQL的配置要注意自己电脑的host，可能会和通常情况的不一样

2015-11-18 15:52:33 600

刘蘩的博客