2018年01月_ItStar_

转载 C++中重载、重写（覆盖）的区别实例分析

本文实例讲述了C++中重载、重写（覆盖）和隐藏的区别，对于C++面向对象程序设计来说是非常重要的概念。具体分析如下：1.重载：重载从overload翻译过来，是指同一可访问区内被声明的几个具有不同参数列（参数的类型，个数，顺序不同）的同名函数，根据参数列表确定调用哪个函数，重载不关心函数返回类型。示例代码如下：class A{public: void test(int i); void tes

2018-01-08 00:00:00 712

⑴ 原子性（Atomicity）　　原子性是指事务包含的所有操作要么全部成功，要么全部失败回滚，这和前面两篇博客介绍事务的功能是一样的概念，因此事务的操作如果成功就必须要完全应用到数据库，如果操作失败则不能对数据库有任何影响。⑵ 一致性（Consistency）　　一致性是指事务必须使数据库从一个一致性状态变换到另一个一致性状态，也就是说一个事务执行之前和执行之后都必须处于一致性状态。　　拿转账来

2018-01-08 00:00:00 441 1

转载各大公司Java后端开发面试题总结

Redis数据结构: String—字符串（key-value 类型） Hash—字典(hashmap) Redis的哈希结构可以使你像在数据库中更新一个属性一样只修改某一项属性值 List—列表实现消息队列 Set—集合利用唯一性 Sorted Set—有序集合可以进行排序可以实现数据持久化友情链接： Spring + Redis 实现数据的缓存java自动装箱拆箱深入剖析谈谈Java反

2018-01-08 00:00:00 706

转载 pycharm中使用anaconda

俗话说‘人生苦短，我有Python’，但是如果初学Python的过程中碰到包和Python版本的问题估计会让你再苦一会，我在学习Python的爬虫框架中看到看到了anaconda的介绍，简直是相见恨晚啊，我觉的每个Python的学习网站上首先都应该使用anaconda来进行教程，因为在实践的过程中光环境的各种报错就能消磨掉你所有的学习兴趣！下面简单的介绍下anaconda，它是将Python版本和

2018-01-07 00:00:00 4786

转载 Elastic Job 入门详解

Elastic job是当当网架构师张亮,曹昊和江树建基于Zookepper、Quartz开发并开源的一个Java分布式定时任务，解决了Quartz不支持分布式的弊端。Elastic job主要的功能有支持弹性扩容，通过Zookepper集中管理和监控job，支持失效转移等，这些都是Quartz等其他定时任务无法比拟的。目前Elastic job的最新版本已经由原来的elastic-job

2018-01-07 00:00:00 729

转载大数据岗位招聘需求

最近一年大数据火爆异常，各种培训班开课广告满天飞，很多做开发的朋友也想转到大数据这一行，在投递简历的时候进场被几个岗位搞迷糊，他们是大数据分析师，大数据研发工程师，大数据建模工程师，大数据挖掘工程师。我会根据前同事所在公司的相应岗位，列出岗位职责和要求，供大家借鉴。大数据开发工程师腾讯大数据研发工程师职位描述：岗位职责:负责数据接入、数据清洗、底层重构，业务主题建模等工作；负责金融大数据整体的计

2018-01-07 00:00:00 10091

转载 Spark MLlib 学习入门笔记 - RDD基础

RDD（Resilient Distributed Datasets）分布式弹性数据集，将数据分布存储在不同节点的计算机内存中进行存储和处理。RDD的任务被分成两部分：Transformation和Action。Transformation用于对RDD的创建，即一个RDD转换为另一个RDD，Action是数据计算执行部分，如count、reduce、collect等。 Spark文档里有相关的说明

2018-01-06 00:00:00 986

转载 Spark MLlib 课堂学习笔记 - 逻辑回归

关于逻辑回归的算法原理Spark官方文档里有说明，另外网上也有中文翻译文档可参考。本笔记是学习MLlib的辑回归API使用时一道练习题记录，通过这道练习，可以掌握基本使用。MLLib提供了两种算法实现，分别是SGD梯度下降法和LBFGS。1. 数据文件交通事故的统计文件，四列，accident(去年是否出过事故，1表示出过事故，0表示没有)，age(年龄数值型)，vision(视力状况，分类型，

2018-01-06 00:00:00 534

转载 Spark MLlib 入门学习笔记 - 编程环境配置

配置windows下Spark MLlib的编程环境，实现在windows下用scala开发程序，用小数据集测试验证程序的正确性。少做修改，或者不做修改，然后打包成jar文件，用spark-submit提交到spark集群进行测试。假设已安装好jdk、scala、IntelliJ IDEA和scala插件。1. 安装hadoop、spark和hadoop2.6_Win_x64-master下载

2018-01-06 00:00:00 1208

转载 Hadoop工作原理图-WordCount示例

一个Mapper对应一个碎片段。import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.uti

2018-01-05 00:00:00 625

转载 HBase在滴滴出行的应用场景和最佳实践

本文主要介绍HBase在滴滴内部的一些典型使用场景，如何设计整个业务数据流，让平台开发者与用户建立清晰、明确、良好的合作关系背景对接业务类型HBase是建立在Hadoop生态之上的Database，源生对离线任务支持友好，又因为LSM树是一个优秀的高吞吐数据库结构，所以同时也对接了很多线上业务。在线业务对访问延迟敏感，并且访问趋向于随机，如订单、客服轨迹查询。离线业务通常是数仓的定时大批量处理任务

2018-01-05 00:00:00 557

转载 Java数据库基础--以SQL Server为例

sql server数据库基本概念使用文件保存数据存在几个缺点：1、文件的安全性问题；2、文件不利于查询和对数据的管理；3、文件不利于存放海量数据4、文件在程序中控制不方便。数据库的定义(1)严格地说，数据库是“按照数据结构来组织、存储和管理数据的仓库”。在经济管理的日常工作中，常常需要把某些相关的数据放进这样的“仓库”，并根据管理的需要进行相应的处理。例如，企业或事业单位的人事部门常常要把单位

2018-01-05 00:00:00 776

转载 Hadoop HDFS操作

启动HDFS首先，您必须格式化配置的HDFS文件系统，打开namenode（HDFS服务器），然后执行以下命令。$ hadoop namenode -format 格式化HDFS后，启动分布式文件系统。以下命令将启动namenode以及数据节点作为集群。$ start-dfs.sh 在HDFS中列出文件在服务器中加载信息后，我们可以在一个目录中找到文件列表，文件的状态，使用'ls'。下面给出了

2018-01-03 00:00:00 479

转载 Hadoop 介绍

Hadoop 介绍Hadoop是一个用Java编写的Apache开源框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。Hadoop框架工作的应用程序在跨计算机集群提供分布式存储和计算的环境中工作。Hadoop旨在从单个服务器扩展到数千个机器，每个都提供本地计算和存储。 Hadoop架构Hadoop框架包括以下四个模块：Hadoop Common: 这些是其他Hadoop模块所需的Jav

2018-01-03 00:00:00 698

转载 Hadoop 环境设置

Hadoop由GNU / Linux平台及其版本支持。因此，我们必须安装一个Linux操作系统来设置Hadoop环境。如果您有除Linux以外的操作系统，您可以在其中安装Virtualbox软件，并在Virtualbox内部安装Linux。安装前设置在将Hadoop安装到Linux环境之前，我们需要使用ssh（Secure Shell）来设置Linux。按照以下步骤设置Linux环境。创建用户在开

2018-01-03 00:00:00 493

转载 Hadoop HDFS概述

Hadoop文件系统是使用分布式文件系统设计开发的。它运行在商用硬件上。与其他分布式系统不同，HDFS是高度容错的，并且使用低成本硬件设计。HDFS拥有大量的数据并提供更容易的访问。为了存储这样巨大的数据，文件存储在多个机器。这些文件以冗余方式存储，以在发生故障时避免系统可能的数据丢失。 HDFS还使应用程序可用于并行处理。HDFS的特点它适用于在分布式存储和处理。Hadoop提供了一个与HDFS

2018-01-03 00:00:00 436

ItStar