- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 大数据和用户增长模型
AARRR 用户增长模型关于用户增长有一个著名的 AARRR 模型，它描述了用户增长的 5 个关键环节，分别是：获取用户（Acquisition）、提高活跃度（Activation）、提高留存率（Retention）、获取收入（Revenue）和自传播（Refer）。获取用户：通过各种推广手段，使产品触达用户并吸引用户，让用户访问我们的产品。提高活跃度：用户访问我们的产品后，如果发现没意思、...
2020-03-28 17:08:15
898
1
原创 从0开始学大数据总结笔记： 3、大数据平台与系统集成
1、大数据平台由上到下，可分为三个部分：数据采集、数据处理、数据输出与展示。数据采集将应用程序产生的数据和日志等同步到大数据系统中，由于数据源不同，这里的数据同步系统实际上是多个相关系统的组合。数据库同步通常用 Sqoop（Sqoop适合离线批量导入关系数据库的数据，Canle适合实时导入关系数据库的数据。），日志同步可以选择 Flume，打点采集的数据经过格式化转换后通过 Kafka 等消息...
2020-03-28 16:04:46
954
原创 爬虫与反爬虫策略
反爬虫策略：网页时代，验证header&签名，动态加载，反selenium/phantomjs，ip封禁，有毒数据，动态爬虫阈值（过了阈值后依然允许爬一阵再封禁），各种验证码，云厂商反爬模式识别app时代，ios和安卓的反逆向，比如安卓的加壳，代码混淆，强制登录token，账户管理，反抓包（ssl pin），包签名校验，反注入（监测），so，LLVM混淆，反Hook，异常账号识别，模式...
2020-03-27 18:05:49
219
原创 JDBC和MyBatis防止SQL注入攻击的原理
JDBC 的 PrepareStatement 可以阻止 SQL 注入攻击，MyBatis 之类的 ORM 框架也可以阻止 SQL 注入，如何实现的？因为SQL语句在程序运行前已经进行了预编译，在程序运行时第一次操作数据库之前，SQL语句已经被数据库分析，编译和优化，对应的执行计划也会缓存下来并允许数据库已参数化的形式进行查询，当运行时动态地把参数传给PreprareStatement时，即使参...
2020-03-27 15:28:39
473
原创 从0开始学大数据总结笔记：2、大数据生态体系主要产品原理与架构
我们常常意识不到问题的存在，直到有人解决了这些问题。上面所有这些技术在实际部署的时候，通常会部署在同一个集群中，某台服务器可能运行着 HDFS 的 DataNode 进程，负责 HDFS 的数据存储；同时也运行着 Yarn 的 NodeManager，负责计算资源的调度管理；而 MapReduce、Spark、Storm、Flink 这些批处理或者流处理大数据计算引擎则通过 Yarn 的调度，...
2020-03-27 15:01:16
440
1
原创 Impala简介，以及Hive, impala 的比较
Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的 Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS或HBase中用SELECT、JOIN和统...
2020-03-26 21:42:13
242
原创 从0开始学大数据总结笔记：1、Hadoop大数据原理与架构
Hadoop大数据原理与架构1、移动计算不移动数据原则：使用 HDFS 分布式文件存储系统，将文件分成很多块（Block），以块为单位存储在集群的服务器上每台服务器原本都不带有程序，但是调度服务器为处理服务器分发任务之后，处理服务器就执行任务并检查是否有该程序，没有就下载，下载之后从指定路径中读取数据进行处理，处理好之后统一存放处理结果Hadoop 主要是由三部分组成，分布式文件系统 ...
2020-03-26 18:48:57
351
原创 一个网络请求是如何完成服务并返回的
考察的是一个典型的互联网应用，比如淘宝的架构是怎样的。简化描述下，这个过程是：首先，一个请求从 Web 或者移动 App 上发起，请求的 URL 是用域名标识的，比如 taobao.com 这样，而 HTTP 网络通信需要得到 IP 地址才能建立连接，所以先要进行域名解析，访问域名解析服务器 DNS，得到域名的 IP 地址。得到的这个 IP 地址其实也不是淘宝的服务器的 IP 地址，而是 CDN ...
2020-03-26 18:44:40
929
原创 对依赖倒置原则的理解
框架在架构设计上遵循一个重要的设计原则叫“依赖倒转原则”，依赖倒转原则是高层模块不能依赖低层模块，它们应该共同依赖一个抽象，这个抽象由高层模块定义，由低层模块实现。所谓高层模块和低层模块的划分，简单说来就是在调用链上，处于前面的是高层，后面的是低层。 我们以典型的 Java Web 应用举例，用户请求在到达服务器以后，最先处理用户请求的是 Java Web 容器，比如 Tomcat、Jett...
2020-03-26 17:45:27
864
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人