chenqiao888666的博客

Spark是一种快速通用的分布式计算系统，用于大规模数据处理。它最初由加州大学伯克利分校的AMPLab开发，作为Hadoop的一个子项目，并于2010年开源。可以用于构建推荐系统，例如基于协同过滤的推荐算法。通过分析用户行为和喜好数据，可以为用户提供个性化的产品或内容推荐。Spark 可以用于分析大量的日志数据，例如服务器日志、应用日志等。通过对日志数据进行处理和分析，可以发现系统性能问题、安全漏洞、用户行为等信息。Spark 可以用于分析时序数据，例如股票价格、气象数据等。

Spring Boot是一个开源的Java开发框架，可以帮助开发者快速构建基于Spring的应用程序。它提供了一种简化的方式来配置和部署应用程序，并且内置了许多常用的功能和库。JPA（Java Persistence API）是Java中一种用于对象持久化的标准规范。它定义了一套API来访问和管理数据库，使得开发者可以以面向对象的方式操纵数据库，而不需要关注数据库的具体实现。Thymeleaf是一个Java模板引擎，用于在Web应用程序中生成动态的HTML页面。

创建一个Configuration对象时，其构造方法会默认加载hadoop中的两个配置文件，分别是hdfs-site.xml以及core-site.xml，这两个文件中会有访问hdfs所需的参数值，主要是fs.default.name，指定了hdfs的地址，有了这个地址客户端就可以通过这个地址访问hdfs了。即可理解为configuration就是hadoop中的配置信息。public int compareTo(Object o) // 比较两个对象是否指向相同的路径。

Flask初始化参数尽量使用你的包名，这个初始化方式是官方推荐的，官方解释：http://flask.pocoo.org/docs/0.12/api/#flask.Flask。函数对模板（html）进行渲染，并允许在render_template函数传入需要传递给模板（html）的变量。DataFrame.to_dict转为字典或列表 to_json转为JSON字符串并解决中文乱码。Flask项目在主函数（app.py）里的视图函数（@route修饰的函数）的返回值中通过。