- 博客(176)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 【Hive】 报错 FAILED: SemanticException Unable to determine if hdfs://
Logging initialized using configuration in file:/soft/softwares/apache-hive-1.2.1-bin/conf/hive-log4j.propertiesFAILED: SemanticException Unable to determine ifhdfs://localhost:8020/user/hive/wareh...
2018-10-08 23:39:03
3536
原创 Python3 循环
while 循环 for 循环 无限循环 while 循环使用 else 语句 简单语句组 range()函数 break、continue、else子句 pass 语句 while 循环Python中while语句的一般形式：while 判断条件： 语句同样需要注意冒号和缩进。另外，在Python中没有do..while循环。以下实例使用了 whil...
2018-10-05 21:31:43
242
原创 Python3 迭代器 生成器
迭代器迭代是Python最强大的功能之一，是访问集合元素的一种方式。迭代器是一个可以记住遍历的位置的对象。迭代器对象从集合的第一个元素开始访问，直到所有的元素被访问完结束。迭代器只能往前不会后退。迭代器有两个基本的方法：iter() 和 next()。字符串，列表或元组对象都可用于创建迭代器：>>>list=[1,2,3,4]>>> ...
2018-10-05 20:33:02
293
原创 Python3 if...else
决策结构计算多个表达式并产生 true 或 flase 作为结果并退出。您需要确定采取的行动，如果结果是 true 要执行哪些语句，或否则返回 false。Python编程语言假定任何非零和非空值的结果值为 true，如果它是零或为null，则假定为 false 值。Python编程语言提供了以下几种类型的决策声明。if 语句： if 语句包含一个布尔表达式后跟一个或多个语句。 if...
2018-10-05 19:52:46
4667
原创 Python3 数字 Number
Python 数字数据类型用于存储数值。数据类型是不允许改变的,这就意味着如果改变数字数据类型的值，将重新分配内存空间。以下实例在变量赋值时 Number 对象将被创建：var1 = 1var2 = 10您也可以使用del语句删除一些数字对象的引用。del语句的语法是：del var1[,var2[,var3[....,varN]]]]您可以通过使用del语句删除...
2018-10-05 19:35:17
276
原创 Python3 字符串
访问字符串中的值 字符串更新 转义字符 字符串运算符 字符串格式化 三引号 Unicode 字符串字符串是 Python 中最常用的数据类型。我们可以使用引号 ' 或 " 来创建字符串。创建字符串很简单，只要为变量分配一个值即可。例如：var1 = 'Hello World!'var2 = "Runoob"访问字符串中的值Python 不支持单字符类型，单...
2018-10-05 19:24:49
271
原创 Python3 运算符
什么是运算符？举个简单的例子 4 +5 = 9 。 例子中，4 和 5 被称为操作数，"+" 称为运算符。Python语言支持以下类型的运算符:算术运算符 比较运算符 赋值运算符 位运算符 逻辑运算符 成员运算符 身份运算符 运算符优先级算术运算符以下假设变量a为10，变量b为21：运算符 描述 实例 + 加 - 两...
2018-10-04 21:26:32
250
原创 Python3 命令行参数
Python 提供了 getopt 模块来获取命令行参数。$ python test.py arg1 arg2 arg3Python 中也可以所用 sys 的 sys.argv 来获取命令行参数：sys.argv 是命令行参数列表。 len(sys.argv) 是命令行参数个数。注：sys.argv[0] 表示脚本名。 实例test.py 文件代码如下：#!/u...
2018-10-04 21:04:03
1032
原创 Python3 基本语法
Python标识符Python标识符是用来标识变量，函数，类，模块或其他对象的名称。字母A~Z 字母a~z 数组0~9 下划线 _ 组成 不允许有 @ $ % Python 是区分大小写的。下面是 Python 标识符命名的约定 -类名称使用大写字母。所有其它标识符开始使用小写字母。 开头使用一个下划线的标识符表示该标识符是私有的。 开始以两个前导下划线...
2018-10-04 20:37:53
350
原创 Python3 Hello Word！
Python语言有许多C和Java的相似之处。不过，语言之间也有一些明显的差异。 交互模式编程[root@hadoop1 /]#python3Python 3.7.0 (default, Oct 4 2018, 19:53:56) [GCC 4.4.7 20120313 (Red Hat 4.4.7-23)] on linuxType "help", "copyright",...
2018-10-04 20:20:36
668
原创 Python 3.7 安装 Centos
首先安装依赖包，依赖包缺一不可，笔者曾安装python3未成功就是因为没有安装libffi-develsudo yum -y groupinstall "Development tools"sudo yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk...
2018-10-04 19:58:29
282
原创 Python3 简介
Python简介Python是一种高层次，解释，互动性和面向对象的脚本语言。Python 被设计成具有很强的可读性语言。它采用英语关键字，而其他语言一般使用标点符号，并且具有比其他语言有较少的句法结构。Python是解释型的语言：Python 是在运行时被解释处理。你不需要在执行前编译程序。这类似于Perl和PHP。 Python是交互式的： 实际上，可以在 Python 提示和解释直接...
2018-10-04 18:39:03
464
转载 小红书 算法简介
小红书作为中国乃至全球独一无二的社区电商，目标是让全世界的好生活触手可及，那么如何帮助用户在社区里发现好生活，又如何引导用户找到值得剁手的好产品呢？本文整理自 ArchSummit 深圳演讲，探讨如何运用机器学习和人工智能，帮助小红书不到 10 人的算法团队快速接近目标。我们由此篇文章会了解到：1. 在电商场景中的人工智能应用实例。2. 深度学习在电商内容搜索，推荐中的应用前景。3. 如何在...
2018-10-03 16:17:21
17360
2
转载 网易云音乐 推荐算法
本篇文章我们从网易云音乐的推荐功能出发，结合我的实习工作，聊一聊互联网的常用推荐策略。 首先来回顾一下云音乐的推荐功能。 网易云音乐推荐 音乐推荐是创始人丁磊先生愿景最直接的体现，也是网易云音乐的主推功能和核心竞争力所在，备受用户推崇。 推荐算法简单说就是在海量的用户数据（行为记录等）中对用户进行划分，对同一群体的用户推荐其他用户喜欢的音乐。 这其...
2018-10-03 15:58:01
3528
转载 58同城推荐系统设计与实现
58同城智能推荐系统大约诞生于2014年（C++实现），该套系统先后经历了招聘、房产、二手车、黄页和二手物品等产品线的推荐业务迭代，但该系统耦合性高，难以适应推荐策略的快速迭代。58同城APP猜你喜欢推荐和推送项目在2016年快速迭代，产出了一套基于微服务架构的推荐系统（Java实现），该系统稳定、高性能且耦合性低，支持推荐策略的快速迭代，大大提高了推荐业务的迭代效率。此后，我们对旧的推荐系统进行...
2018-10-03 15:47:15
4347
原创 Scala break语句
Scala中没有内置的break语句，但是如果您运行的是Scala 2.8版本，则可以使用break语句。当循环中遇到break语句时，循环将立即终止，程序控制跳到循环之后的下一个语句执行。流程图语法以下是break语句的语法 -// import following packageimport scala.util.control._// create a Bre...
2018-10-03 11:41:55
771
原创 Scala for循环语句
for循环是一种重复控制结构，可以让您有效地编写一个需要执行特定次数的循环。在Scala中有各种形式的for循环，如下所述 -使用范围的for循环Scala中带范围for循环的最简单的语法是 -for( var x <- Range ){ statement(s);}在这里，Range可以是数字范围，并且表示为i到j。 左箭头←运算符被称为生成器，因为它从一个范围...
2018-10-03 11:40:55
1306
原创 Scala do...while循环语句
与在循环顶部测试循环条件的while循环语句不同，do...while循环检查循环底部的条件。 一个do...while循环类似于while循环，除了do...while循环保证至少执行一次。语法以下是do...while循环的语法。do { statement(s);} while( condition ); 请注意，条件(condition)表达式出现在循环的末...
2018-10-03 11:38:52
562
原创 Scala while循环语句
当给定条件为真时，while循环重复一个语句或一组语句。它在执行循环体之前测试条件状态。 只要给定的条件为真，while循环语句重复执行目标语句。语法以下是while循环的语法 -while(condition){ statement(s);}在这里，语句(statement(s))可能是一个单一语句或一个语句块。条件(condition)可以是任何表达式，true是任...
2018-10-03 11:37:41
2133
原创 2018 Java面试
Java线程11.进程和线程的区别是什么？进程是执行着的应用程序，而线程是进程内部的一个执行序列。一个进程可以有多个线程。线程又叫做轻量级进程。12.创建线程有几种不同的方式？你喜欢哪一种？为什么？有三种方式可以用来创建线程：继承Thread类实现Runnable接口应用程序可以使用Executor框架来创建线程池实现Runnable接口这种方式更受欢迎，因为这不需要继承Threa...
2018-10-02 16:03:31
300
原创 2018 Java面试
1.什么是Java虚拟机？为什么Java被称作是“平台无关的编程语言”？Java虚拟机是一个可以执行Java字节码的虚拟机进程。Java源文件被编译成能被Java虚拟机执行的字节码文件。Java被设计成允许应用程序可以运行在任意的平台，而不需要程序员为每一个平台单独重写或者是重新编译。Java虚拟机让这个变为可能，因为它知道底层硬件平台的指令长度和其他特性。2.JDK和JRE的区别是什么？...
2018-10-02 16:02:48
212
原创 2018 大数据面试
大数据工程师(开发)面试1.HBase和Hive都是基于Hadoop，为什么Hive查询起来非常慢，但HBase不是？Hive是类SQL引擎，其查询都需要遍历整张表，跑MapReduce自然很慢，但HBase是一种NoSQL的列式数据库，基于Key/Value的存储格式，不需要像Hive一样遍历，自然在速度上，乃至写的性能上是相当之快的。相关参考文献HIVE和HBASE区别2.通过Jav...
2018-10-02 16:01:37
4092
原创 网络拓扑 与 机器感知
网络拓扑在本地网络中，两个节点被称为“彼此近邻”是什么意思？在海量数据处理中，其主要限制因素是节点之间数据的传输速率，即带宽稀缺。这里的想法是将两个节点之间的带宽作为距离的衡量标准。不用衡量节点之间的带宽，实际上很难实现（它需要一个稳定的集群，并且在集群中两两节点对数量是节点数量的平方）。hadoop为此采用了一个简单的方法：把网络看作一棵树，两个节点之间的距离是他们到最近共同祖先的距离总...
2018-09-29 10:24:17
1088
原创 【大数据面试题】
ali1.简述如何安装配置apache 的一个开源的 hadoop2.列出hadoop 集群中的都分别需要启动哪些进程 它们分别是作用是什么？3.简述mapreduce的运行原理4.hive中内部外部表的区别5.mapreduce中的combiner 和partition的区别6.说说你对yarn 的理解7.Redis性能优化，单机增加CPU核数是否会提高性能...
2018-09-27 20:22:18
484
转载 饿了么大数据平台建设
大数据平台现状饿了么的大数据平台团队成立于2015年5月份左右，在16年4月份，Hadoop集群规模还只在100+节点数，而在一年时间里集群规模快速增长到1000+的水平，这还是在引入数据生命周期进行管控的情况下的规模增速；同样，流计算集群的规模虽然相对较小，但也经历了10倍的增长，一些topic的吞吐量已超过百万每秒。当前平台部分的逻辑架构如图1，并持续演进。 饿了么大数据平台的...
2018-09-27 10:17:49
1196
转载 饿了么大数据计算引擎实践与应用
饿了么BDI-大数据平台研发团队目前共有20人左右，主要负责离线&实时Infra和平台工具开发。其中6人的离线团队需要维护大数据集群规模如下：Hadoop集群规模1300+ HDFS存量数据40+PB，Read 3.5 PB+/天，Write 500TB+/天 14W MR Job/天，10W Spark Job/天，25W Presto/天此外还需要维护Hadoop、Spark...
2018-09-27 10:04:13
1060
原创 【大数据面试五大坑】 怎么避免？
无论是从大学还是培训机构毕业，你可能会发现，身边总有一些同学能够很快找到工作，甚至手握多个offer，而有些人却连连失败，总是离心仪的公司差那么一步，这是为什么呢？下面就为大家列举程序员面试失败最有可能的5大原因，大家只要巧妙避开下面这5个坑，相信面试成功率将会提升90%！ 说得太少尤其是那些开放式的问题，如“请介绍下你自己”或“请讲一下你曾经解决过的复杂问题”。面试官会通过你...
2018-09-23 08:20:53
2715
原创 Scala final关键字
final是一个关键字，用于防止超类成员继承为派生类。也可以声明final变量，方法和类。Scala final变量示例不能覆盖子类中的final变量，我们来看下面一个例子。Scala单继承示例class Vehicle{ final val speed:Int = 60 } class Bike extends Vehicle{ overri...
2018-09-18 14:54:13
3218
原创 Scala 继承
继承是面向对象的概念，用于代码的可重用性。可以通过使用extends关键字来实现继承。 为了实现继承，一个类必须扩展到其他类，被扩展类称为超类或父类。扩展的类称为派生类或子类。示例class SubClassName extends SuperClassName(){ /* Write your code * methods and fields etc. ...
2018-09-18 14:52:24
339
原创 Scala this 关键字
在scala中，this是一个关键字，用于引用当前对象。可以使用this关键字调用实例变量，方法，构造函数。Scala this示例在以下示例中，这用于调用实例变量和主要构造方法。class ThisExample{ var id:Int = 0 var name: String = "" def this(id:Int, name:Strin...
2018-09-18 14:45:44
6268
1
原创 Scala 方法重载
Scala提供了方法重载功能，使我们能够定义相同名称但使用不同参数或数据类型的方法。 它有助于优化代码。 Scala方法通过使用不同的参数重载示例在下面的例子中，定义了两个具有不同数量的参数但具有相同数据类型的add方法。class Arithmetic{ def add(a:Int, b:Int){ var sum = a+b ...
2018-09-18 14:44:57
3155
原创 Scala 构造函数
Scala默认主构造函数在scala中，如果不指定主构造函数，编译器将创建一个主构造函数的构造函数。 所有类的主体的声明都被视为构造函数的一部分。它也被称为默认构造函数。Scala默认主构造函数示例class Student{ println("Hello from default constructor"); } Scala主要构造函数Scal...
2018-09-18 14:44:15
774
原创 Scala Case类和对象
Scala Case类只是常规类，默认情况下是不可变的，可通过模式匹配可分解。它使用相等(equal)方法在结构上比较实例。它不使用new关键字实例化对象。默认情况下，case类中列出的所有参数默认使用public和immutable修辞符。语法case class className(parameters)Scala Case类示例case class CaseCl...
2018-09-18 14:43:16
1185
原创 Scala 单例和伴生对象
单例(Singleton)对象是一个通过使用object关键字而不是使用class关键字声明的对象。其它对象不需要调用在单例对象中声明的方法。在scala中，没有静态的概念。 所以scala创建一个单例对象来为程序的执行提供入口点。如果不创建单例对象，代码也会成功编译，但不会产生任何输出。单例对象中声明的方法可以全局访问。单例对象可以扩展类和性状。 Scala单例对象示例obj...
2018-09-18 14:42:27
334
原创 Scala 类和对象
本章将介绍如何在Scala编程中使用类和对象。类是对象的蓝图(或叫模板)。定义一个类后，可以使用关键字new来创建一个类的对象。 通过对象可以使用定义的类的所有功能。下面的图通过一个包含成员变量(name 和 rollNo)和成员方法(setName()和setRollNo())的Student类的例子来演示类和对象。最后都是类的成员。类是一个模板的东西，而对象是真实存在的。 在下图中，Stu...
2018-09-18 14:41:34
1397
原创 Scala throw throws 关键字
Scala提供了throw关键字来抛出异常。 throw关键字主要用于抛出自定义异常。同时也提供了throws关键字来声明异常。可以使用方法定义声明异常。 它向调用者函数提供了此方法可能引发此异常的信息。 它有助于调用函数处理并将该代码包含在try-catch块中，以避免程序异常终止。在scala中，可以使用throws关键字或throws注释来声明异常。 Scala Throw示例...
2018-09-17 03:45:27
3459
原创 Scala finally块
finally块用于在异常时释放资源。资源可能是文件，网络连接，数据库连接等，finally块执行代码运行保证。以下程序说明了finally块的用法。Scala finally块示例class ExceptionExample{ def divide(a:Int, b:Int) = { try{ a/b ...
2018-09-17 03:42:10
715
原创 Scala try-catch 语句
Scala提供try和catch块来处理异常。try块用于包含可疑代码。catch块用于处理try块中发生的异常。可以根据需要在程序中有任意数量的try...catch块。Scala try catch示例1在下面的程序中，我们将可疑代码封装在try块中。 在try块之后使用了一个catch处理程序来捕获异常。如果发生任何异常，catch处理程序将处理它，程序将不会异常终止。clas...
2018-09-17 03:41:27
13218
原创 Scala 线程方法
线程(Thread)类提供了各种方法来处理线程的状态。可以使用这些方法来控制线程的执行。下表包含Thread类常用的方法 -方法 描述 public final String getName() 它返回线程的名称。 public final int getPriority() 它返回线程的优先级。 public Thread.State getState()...
2018-09-17 03:40:02
7542
原创 Scala 线程实现
在Scala中，创建线程有两种方法：通过扩展 Thread 类 通过实现 Runnable 接口通过扩展Thread类的Scala线程示例以下示例扩展了Thread类并覆盖了run方法，start()方法用于启动线程。class ThreadExample extends Thread{ override def run(){ println("Threa...
2018-09-17 03:38:26
1767
Hive优化.docx
2019-07-01
阿里Java开发规范
2018-09-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人