全栈工程师开发手册(原创)

全栈工程师,前端工程师,后端工程师,架构师,爬虫工程师,数据分析师,大数据工程师,数据挖掘工程师,机器学习工程师,栾鹏全栈...

win10 安装oracle11g R2的64位版本

下载 win 64位操作系统 下载地址: http://download.oracle.com/otn/nt/oracle11g/112010/win64_11gR2_database_1of2.zip http://download.oracle.com/otn/nt/oracle11g/...

2018-06-15 16:41:49

阅读数:19

评论数:0

sql常用功能实现

查询表的所有列名 select column_name from information_schema.columns where table_name='prediction_stage2'

2018-06-14 22:49:51

阅读数:17

评论数:0

hadoop+hive+hbase+spark补充内容

Linux安装Scala步骤 一、下载Scala安装包 从scala官方网站地址:http://www.scala-lang.org/download/下载scala二进制包,以2.11.8版本为例 二、安装 1、将下载的二进制包移动到/lp/hadoop目录,解压缩文件包 tar zx...

2018-06-01 10:10:27

阅读数:172

评论数:0

Hive 架构知识体系及语法详解

Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需要的内容...

2018-05-30 17:26:01

阅读数:98

评论数:0

Hbase数据结构+基本语法

进入hbase shell console $HBASE_HOME/bin/hbase shell 如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户 hb...

2018-05-28 19:31:45

阅读数:78

评论数:0

sql优化的几种方法

在sql查询中为了提高查询效率,我们常常会采取一些措施对查询语句进行sql优化,下面总结的一些方法,有需要的可以参考参考。 1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null...

2018-05-28 15:49:05

阅读数:186

评论数:1

scala语法入门

Scala 特性 面向对象特性 Scala是一种纯面向对象的语言,每个值都是对象。对象的数据类型以及行为由类和特质描述。 类抽象机制的扩展有两种途径:一种途径是子类继承,另一种途径是灵活的混入机制。这两种途径能避免多重继承的种种问题。 函数式编程 Scala也是一种函数式语言,其函数也能...

2018-05-25 10:50:43

阅读数:56

评论数:0

shell编程

什么是shell编程 高大上的解释,往往让人摸不住头脑。一句话概括就是:shell编程就是对一堆Linux命令的逻辑化处理。 为什么要会shell编程 就是批处理动作,解放双手,避免重复性劳动。 第一个shell程序 #!/bin/bash #第一个shell小程序 echo...

2018-05-23 16:19:06

阅读数:104

评论数:0

spark 常用函数介绍(python)

RDD RDD是Spark中的抽象数据结构类型,任何数据在Spark中都被表示为RDD。从编程的角度来看,RDD可以简单看成是一个数组。和普通数组的区别是,RDD中的数据是分区存储的,这样不同分区的数据就可以分布在不同的机器上,同时可以被并行处理。因此,Spark应用程序所做的无非是把需要处理的...

2018-05-17 15:13:01

阅读数:102

评论数:0

hadoop、hbase、hive、spark分布式系统架构原理

机器学习、数据挖掘等各种大数据处理都离不开各种开源分布式系统,hadoop用户分布式存储和map-reduce计算,spark用于分布式机器学习,hive是分布式数据库,hbase是分布式kv系统,看似互不相关的他们却都是基于相同的hdfs存储和yarn资源管理, hadoop、spark、Hb...

2018-05-15 11:22:50

阅读数:199

评论数:0

centos7下搭建hadoop、hbase、hive、spark分布式系统架构

分布式hadoop部署 首先,在http://hadoop.apache.org/releases.html找到最新稳定版tar包,我选择的是 http://apache.fayea.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz 下载到...

2018-05-14 22:34:54

阅读数:142

评论数:0

centos7(linux)使用心得

修改用户权限 命令行su,登陆root管理员 vi /etc/sudoers 修改 /etc/sudoers 文件,找到下面一行,在root下面添加一行,如下所示: ## Allow root to run any commands anywhere root ALL=(ALL...

2018-05-14 22:09:31

阅读数:72

评论数:0

CentOS最常用命令及快捷键整理

整理了Linux常用命令及快捷键。 常用命令: 文件和目录: # cd /home 进入 '/home' 目录 # cd .. 返回上一级目录 # cd ../.. ...

2018-05-11 14:29:07

阅读数:103

评论数:0

win10中安装centos7双系统心得

不能识别ntfs盘怎么处理。 ./configure make make install 用fdisk -l 查看下分区表里ntfs盘都是什么盘。为这里在win10下的ntfs盘分别为sda1、sda2、sda3、sda5、sda6 添加挂载 在计算机下mnt文件下中新建几个文件夹分别...

2018-05-11 09:57:45

阅读数:200

评论数:0

海量数据处理的 Top K相关问题

Top-k的最小堆解决方法问题描述:有N(N>>10000)个整数,求出其中的前K个最大的数。(称作Top k或者Top 10)问题分析:由于(1)输入的大量数据;(2)只要前K个,对整个输入数据的保存和排序是相当的不可取的。可以利用数据结构的最小堆来处...

2018-04-17 16:10:56

阅读数:90

评论数:0

python后台架构Django教程——日志系统

全栈工程师开发手册 (作者:栾鹏) python教程全解 python日志的相关内容可以先参考:http://blog.csdn.net/luanpeng825485697/article/details/79470478 django使用python内建的logging模块...

2018-03-21 20:27:26

阅读数:2160

评论数:0

python测试系列教程——python+Selenium自动化测试框架

全栈工程师开发手册 (作者:栾鹏) python教程全解 需要的环境 浏览器(Firefox/Chrome/IE..) Python Selenium Selenium IDE(如果用Firefox) FireBug、FirePath(如果用Firefox) chromed...

2018-03-10 09:47:42

阅读数:2729

评论数:2

python测试系列教程 —— YAML配置文件语法教程

全栈工程师开发手册 (作者:栾鹏) python教程全解 YML文件格式是YAML (YAML Aint Markup Language)编写的文件格式,YAML是一种直观的能够被电脑识别的的数据数据序列化格式,他并且容易被人类阅读,容易和脚本语言交互的,可以被支持YAML库的...

2018-03-07 23:03:23

阅读数:2138

评论数:0

python测试系列教程 —— 调试日志logging

全栈工程师开发手册 (作者:栾鹏) python教程全解 logging结构logging模块是Python内置的一个强大易用的日志模块。 整体上来说,日志管理最大的结构是Manager,Manager管理所有的Logger,但你不用去管这个东西,它是藏在背后默默干活的。 Logger里...

2018-03-07 17:32:45

阅读数:2229

评论数:0

python测试系列教程 —— 单元测试unittest

unittest是xUnit系列框架中的一员,如果你了解xUnit的其他成员,那你用unittest来应该是很轻松的,它们的工作方式都差不多。 unittest核心工作原理 unittest中最核心的四个概念是:test case, test suite, test runner, tes...

2018-03-07 10:49:18

阅读数:2442

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭